TDEngine数据库生产级集群安装部署方案

最新推荐文章于 2024-05-09 13:06:39 发布
最新推荐文章于 2024-05-09 13:06:39 发布
阅读量3w 收藏 5
点赞数
分类专栏： 大数据 数据库 文章标签： 数据库 tdengine 负载均衡
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxx688/article/details/122301702
版权

一、说明

TDengine是按照分布式高可靠架构设计，支持水平扩展，能够有效保障系统的可用性和可靠性，生产环境中一般都是多节点部署，TDengine集群部署需要三个以上节点，如果只部署两个数据节点也是可行， 但需要署Arbitrator节点（为模拟节点，不处理任何数据）。

二、集群部署结构

  1. 部署信息

    机器IP与端口：

    10.16.161.186:6030

    10.16.161.187:6030

    10.16.161.188:6030

在这里插入图片描述

  1. 节点类型

    共有三个数据节点（DNODE），两个管理节点（MNODE），这里讲解TDEngine涉及的主要节点类型：

在这里插入图片描述

  • 数据节点（DNODE）

    DNODE负责数据的存取， 包含多个逻辑的虚拟节点，或者至多一个管理节点（mnode）。

  • 管理节点（MNODE）

    MNODE即META NODE，是一个虚拟的逻辑单元、负责所有数据节点状态的监控与维护，以及负载均衡；另外也负责元数据（用户、数据库、表、静态标签）的存储和管理。

  • 虚拟节点（VNODE）

    VNODE是由数据节点所虚拟而来， 一个数据节点可以划分为多个虚拟节点，目的是为了更好的支持数据分片、负载均衡、防止数据过热或倾斜。

三、安装前配置

  1. 修改hosts信息

    TDEngine是通过FQDN进行访问， 规划好三个节点对应的域名

    10.16.161.186 taos1

    10.16.161.187 taos2

    10.16.161.188 taos3

    将配置写入/etc/hosts文件：

    10.16.161.186  taos1
10.16.161.187  taos2
10.16.161.188  taos3

    验证：

    root@node1:~# ping -c2 taos2
PING taos2 (10.16.161.187) 56(84) bytes of data.
64 bytes from ubuntu (10.16.161.187): icmp_seq=1 ttl=64 time=0.028 ms
64 bytes from ubuntu (10.16.161.187): icmp_seq=2 ttl=64 time=0.035 ms

  2. 关闭防火墙

    //临时关闭
systemctl stop firewalld
//永久禁止
systemctl disable firewalld

    安装集群建议关闭防火墙，安装完后再配置端口， 保证端口6030 - 6042是开放的。

四、集群安装

  1. 下载安装包

    从官网下载安装包，需要配置邮件才能获取下载链接。

  2. 解压安装包

    [root@localhost TDengine-server-2.2.2.0] # tar -xvf TDengine-server-2.2.2.0-Linux-x64.tar.gz
[root@localhost TDengine-server-2.2.2.0] # ll
total 2176
drwxr-xr-x 5 root root  83 Nov 17 15:56 connector
drwxr-xr-x 6 root root  62 Dec 62 16:23 data
drwxr-xr-x 2 root root  51 Nov 11 15:56 driver
drwxr-xr-x 10 root root 98 Nov 15:56 examples
-rwxr-xr-x 1 root root  38220 Nov 15:56 install.sh
drwxr-xr-x 2 root root  60 Dec 29 19:52 log
-rw-r--r-- 1 root root  2184998 Nov 17 15:56 taos.tar.gz
drwxr-xr-x 2 root root  6 Dec 29 16:22 tmp

  3. 执行安装

    内置已经提供好安装脚本， 进入安装目录， 直接执行install.sh

    [root@10 TDengine-server-2.2.2.0] #./install.sh
 osinfo：RedHat Enterprise Linux Server
RedHat Enterprise Linux Server 7.6(Maipo)
cpe：/o：redhat：enterprise_1inux：7.6：GA：server
This is an officially unverified 1inux system,
if there are any problems with the instal1ation and operation，
please feel free to contact taosdata.com for support.
start to install TDengine...
created symlink from /etc/system d/system/multi-user.target.wants/taosd.service to /etc/systemd/system/taosd.service.
system hostname is：10.16.161.186
Enter FQDN：port(like hl.taos data.com：6030) of an existing TDengine cluster node to join
OR leave it blank to build one：
Enter your emailaddress for priority support or enter empty to skip：
To configure TDengine : edit /etc/taos/taos.cfg
To start TDengine     : sudo systemctl start taosd
To access TDengine    :  taos -h 10.16.161.186 to login into TDengine server
TDengine is installed successfully!

    输入提示时， 直接回车即可。

    提示： 如果出现错误或需重装，执行内置删除命令rmtaos

    [root@10 TDengine-server-2.2.2.0]$ rmtaos 
TDEngine is removed successfully!

    此命令并不会清除data和log目录， 建议手工清理彻底删除。（默认路径/var/log/taos、/var/lib/taos）

  4. 修改配置文件

    配置文件路径默认在/etc/taos/taos.cfg，以下几项是必须修改的地方， 每个节点根据实际信息都需做相应地修改， 以第一个节点为例：

    # firstEp 是每个数据节点首次启动后连接的第一个数据节点
firstEp               taos1:6030
# 必须配置为本数据节点的FQDN，如果本机只有一个hostname, 可注释掉本项
fqdn                  taos1
# 配置本数据节点的端口号，缺省是6030
serverPort            6030
# 副本数为偶数的时候，需要配置，比如两台数据节点，可以在任意一台安装arbitrator节点
# arbitrator            ha.taosdata.com:6042

    生产集群调优参数的完整配置：

    #first fully qualified domainname(FQDN) for TD engine system
firstEp taos1:6030
#local fully qualified domainname(FQDN)
fqdn taos1
#first port number for the connection ( 12 continuous UDP/TCP portnumber are used)
serverPort 6030
#logfile'sdirectory
logDir  /usr/local/TDengine-server-2.2.2.0/log
#datafile'sdirectory
dataDir /usr/local/TDengine-server-2.2.2.0/data
#temporaryfile'sdirectory
tempDir /usr/local/TDengine-server-2.2.2.0/tmp
#numberofthreads per CPU core
numOfThreadsPerCore 2.0
#numberofthreads to commit cache data
numOfCommitThreads 40
#theproportionof total CPU cores available for query processing
#2.0:thequerythreads will be set to double of the CPU cores.
#1.0:allCPUcores are available for query processing[default] .
#0.5:onlyhalfof the CPU cores are available for query.
#0.0:onlyonecore available.
ratioOfQueryCores  2.0
#thelast_row/first/lastaggregator will not change the original columnname in the result fields
keepColumnName  1
#numberofmanagement nodes in the system
numOfMnodes  2
#enable/disableloadbalancing
balance  0
#numberofseconds allowed for ad node to be offline， for cluster only
offlineThreshold  86400
#maxnumberof v groups per db， 0 means configured automatically
maxVgroupsPerDb 30
#numberofcache blocks per vnode
blocks  60
#thenumberof acknowledgments required for successful data writing
quorum  2
#max length of an SQL
maxSQLLength  1048576
#system timezone
timezone  Asia/Shanghai(CST, +0800)
#system locale
locale enUS.UTF-8
# default system charset
charset UTF-8
# max number of connections allowed in dnode
maxShellConns  50000
# max number of connections allowed in client
maxConnections  50000
# enable/disable system monitor
monitor  1
wallevel  1

    主要配置说明：

    #配置参数名称含义
    1numOfMnodes系统中管理节点个数
    2mnodeEqualVnodeNum一个mnode等同于vnode消耗的个数
    3offlineThresholddnode离线阈值，超过该时间将导致Dnode离线
    4statusIntervaldnode向mnode报告状态时长
    5arbitrator系统中裁决器的End Point
    6timezone时区
    7balance是否启动负载均衡
    8maxTablesPerVnode每个vnode中能够创建的最大表个数
    9maxVgroupsPerDb每个DB中能够使用的最大vgroup个数

    如果指定数据、日志的存储路径，先创建好对应的文件夹：

    mkdir -p /usr/local/TDengine-server-2.2.2.0/log
mkdir -p /usr/local/TDengine-server-2.2.2.0/data
mkdir -p /usr/local/TDengine-server-2.2.2.0/tmp

    实际生产集群中，数据可能会分配到多个硬盘目录， TDEngine是能够支持多个目录的存储， 配置示例：

    dataDir /data/tdengine/data1 0 1
dataDir /data/tdengine/data2 0 0
dataDir /data/tdengine/data3 0 0

  5. 启动服务节点

    1） 确保每个节点配置修改完成后， 先启动第一个节点

    sytemctl start taosd

    在这里插入图片描述
    如果命令不能识别， 说明没有成功安装， 按照上述步骤重新安装。
    2） 启动其余节点

    按照上述命令，依次在各节点启动服务。

  6. 创建集群

    进入主节点， 逐个加入其它节点：

    CREATE DNODE "fqdn:port";

    在这里插入图片描述

    创建完成后， 通过show dnodes命令可以查看集群所有节点信息：

    在这里插入图片描述

    能够查看到三个节点的信息， 并且状态为“ready”， 代表集群搭建正常。

    如果节点创建错误， 可以删除节点， 执行命令：

    DROP DNODE "fqdn:port"

    一旦被drop之后，不能重新加入集群。需要将此节点重新部署， 并且要清空数据文件夹。

麦神-mirson
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
TDengine集群安装部署（图文结合版）
weixin_44499403的博客
12-24 5769
文章目录一、简介二、安装步骤2.1服务端配置工作2.1.1.查看服务器ip地址 ifconfig2.1.2.修改hostname2.1.3.配置hosts文件2.2.客户端配置工作2.2.1.不同系统安装客户端WindowsLinux2.2.2.修改taos.cfg 配置WindowsLinux2.3.服务端安装工作2.3.1.开放端口2.3.2.上传服务端安装包2.3.3.服务端修改taos.cfg2.3.4.启动第一个taos服务2.3.5.客户端测试连接2.4.搭建集群2.5.扩展2.5.1.Vnod
TDengine集群搭建
专注基础架构领域
05-25 1127
点击要下载的压缩包后会有弹窗出来，让你填邮箱，填邮箱之后，会收到邮件，邮件内容中会附上实际下载地址，点击邮件内容中的邮件地址进行下载。在td1.test.com上执行ping td2.test.com，ping td3.test.com。在td2.test.com上执行ping td1.test.com，ping td3.test.com。在td3.test.com上执行ping td1.test.com，ping td2.test.com。td2在第二处将其修改为td2.test.com。
TDengine 部署与使用----时序数据库
zw899004的专栏
05-11 1023
TDengine-时序数据库 部署与使用
2024年大数据最全TDengine高可用分布式集群详解_tdengine 集群(2)
2401_84185224的博客
05-02 850
TDengine 的设计是基于分布式的几个特性而设计的。TDengine 采用分布式高可用架构设计，支持水平扩容，这样任何单台或多台服务器发生硬件故障或软件错误都不影响系统的可用性和可靠性。同时，通过节点虚拟化、负载均衡，它能最高效率地利用异构集群中的计算和存储降低硬件资源的投入。
2024年TDengine高可用分布式集群详解_tdengine 集群，近期想跳槽的程序员必看
最新发布
2401_84166965的博客
05-09 404
本文将介绍TDengine的高可用集群架构，全文通俗易懂，会从最简单的分布式概念开始讲起，想要入坑服务器同学抓紧准备好你的被子，卷起来吧！在讲TDEngine的架构之前，我们先来复习和巩固一下分布式和集群中的一些常用概念以方便后续文章内容的理解。由于一些概念过于枯燥，所以我打算先举个栗子。TDengine 的设计是基于分布式的几个特性而设计的。TDengine 采用分布式高可用架构设计，支持水平扩容，这样任何单台或多台服务器发生硬件故障或软件错误都不影响系统的可用性和可靠性。
TDengine高可用分布式集群详解
英雄哪里出来
06-28 8820
学好分布式，跟我进大厂！
TDengine集群安装
weixin_40794948的博客
02-18 770
一、简介 组件tdengine集群的节点可以是物理服务器，虚拟容器，不同cpu架构的物理节点。 图中dnode代表一个tdengine实例，一个物理节点可以创建多个dnode，一般情况一个物理节点创建一个dnode。 通过dnode虚拟化拆分，拆分的模块可以作为vnode和mnode。如图中的v2和m0。 vnode负责存储时序数据，一个dnode里有多个vnode。如图中dnode0有v2,v7,v8,v6。 通过虚拟节点组vgroup实现副本的管理一个vgroup可以包含多个vnod
生产环境Rabbitmq集群安装部署与配置
01-09
更多:生产环境Rabbitmq集群安装 创建用户 创建用户名 sudo adduser rabbitmq 添加到sudo组里面 sudo usermod -a -G sudo rabbitmq 切换用户 sudo su – rabbtimq cd /data sudo mkdir rabbitmq sudo chown -R ...
ORACLE数据库部署方案与安装部署白皮书.docx
10-14
本文将详细探讨ORACLE数据库的部署方案与安装部署过程，旨在为IT专业人员提供全面的指导。 首先，我们来看看Oracle数据库部署的不同模式。在部署Oracle数据库时，有多种策略可供选择，每种策略都有其特定的适用场景...
Linux集群服务的安装部署.doc
11-29
Linux 集群服务的安装部署 本书的第 12 章主要讲解了 Linux 集群服务的安装部署，通过实例讲解高可用集群和负载均衡集群的安装部署，深入浅出地阐述集群概念，解决 Linux 管理员遇到的实际问题。 集群的定义是指一...
TDengine-master.zip
07-22
TDengine是一个开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的工作量。
MySQL数据库及集群安装部署手册.docx
11-20
MySQL数据库及集群安装部署手册.docxMySQL数据库及集群安装部署手册.docx
2_2 hadoop集群安装部署.pdf
07-16
2_2 hadoop集群安装部署.pdf
TDengine 3.0 集群安装
曲清歌
10-10 1396
TDengine 3.0 集群安装
【TDengine】详解TDengine集群部署
Fanjufei的博客
03-27 1888
和 停止 taosd 进程是两个不同的概念，不要混淆：因为删除 dnode 之前要执行迁移数据的操作，因此被删除的 dnode 必须保持在线状态。一个数据节点被 drop 之后，其他节点都会感知到这个 dnodeID 的删除操作，任何集群中的节点都不会再接收此 dnodeID 的请求。每个物理节点上执行 ping host，其中 host 是其他物理节点的 hostname，看能否 ping 通其它物理节点；在每个数据节点，firstEp需全部配置成一样，但fqdn一定要配置成其所在数据节点的值。
如何用好强大的 TDengine 集群 ？ 先了解 RAFT 在 3.0 中的应用
涛思数据
07-07 339
对应到 TDengine 中，只有当过半数的节点把该条 SQL 的写入信息追加到文件系统上的 WAL（即图中的步骤 2），并且收到确认消息之后，这条 Log entry 才会被 Leader 认为是安全的。在持续写入数据的过程中，TDengine 会按照协议机制在每个成员节点上产生完全相同的日志记录，并且以相同的顺序执行数据变更操作，以 WAL 的形式，存储在数据文件目录中。而在 3.0 ，我们则引入了标准的 RAFT 算法，以更通用标准的实现方式，去适用更广泛的应用场景。（上图红色箭头部分）
TDengine初体验手记：从安装到集群
UPUP&TOPTOP
05-14 1283
文章目录前言立即开始（服务器端ubuntu客户端（windows数据建模-超级表写入查询集群总结 前言 今天是5月14日，查了一下小蓝的骑行订单，上一次出校门还是3月13日，痛苦面具） 这几天在宿舍闲着把TDengine的整个安装、连接、查询、数据订阅、集群等基本功能按照文档体验了一遍。虽说我研究方向就是时间序列相似性，但其实看论文做实验这些基本上还是在搞数学问题，离产品比较遥远。正好借此机会学习一下~ 大体上感觉还是蛮顺利的，也不是那种用起来很重的系统，不至于从入门到入土（给我的自闭生活多了点意思），当然
时序数据库：TDengine整体架构
GIS摆渡人
06-26 4842
TDengine 的设计是基于单个硬件、软件系统不可靠，基于任何单台计算机都无法提供足够计算能力和存储能力处理海量数据的假设进行设计的。因此 TDengine 从研发的第一天起，就按照分布式高可靠架构进行设计，是支持水平扩展的，这样任何单台或多台服务器发生硬件故障或软件错误都不影响系统的可用性和可靠性。同时，通过节点虚拟化并辅以自动化负载均衡技术，TDengine 能最高效率地利用异构集群中的计算和存储资源降低硬件投资。TDengine 分布式架构的逻辑结构图如下：图 1 TDengine架构示意图一个完整
达梦数据库主备集群安装部署
07-28
达梦数据库主备集群的安装部署步骤如下： 1. 准备工作： - 确保服务器满足达梦数据库的最低系统要求。 - 确保服务器之间可以网络互通。 2. 安装达梦数据库软件： - 下载达梦数据库软件安装包，并解压缩到指定目录。 - 执行安装脚本，按照提示进行安装。 3. 配置主备集群： - 在主服务器上编辑主配置文件（dm.cfg），设置主数据库的相关参数。 - 在备服务器上编辑备配置文件（dm.cfg），设置备数据库的相关参数。 - 配置主服务器和备服务器之间的网络连接信息。 4. 启动主备集群： - 在主服务器上启动主数据库。 - 在备服务器上启动备数据库。 5. 配置数据同步： - 在主服务器上创建数据同步账号，并授权给备服务器。 - 在备服务器上设置数据同步参数，指定主数据库的地址和账号信息。 6. 测试主备切换： - 在主服务器上进行一些数据操作，确保数据同步正常。 - 模拟主服务器故障，观察备服务器是否能够自动切换为主服务器。 以上是达梦数据库主备集群的基本安装部署步骤，具体操作还需参考达梦数据库的安装和配置文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

麦神-mirson

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值