IOTDB集群部署

背景

IOTDB单节点的数据插入性能不是很好，所以，想看看集群的效果，那么就需要搭建集群的环境

文件获取

下载地址(选择集群版本)

 文件目录

完成IoTDB Cluster安装后，默认会在IoTDB Cluster的根目录下生成下列目录文件：

目录	说明
conf	配置文件目录
data	默认数据文件目录，可通过修改配置文件修改位置
ext	默认udf目录，可通过修改配置文件修改位置
lib	库文件目录
logs	运行日志目录
sbin	可执行文件目录
tools	系统工具目录

配置文件

位置：{cluster_root_dir}/conf

为方便 IoTDB Server 的配置与管理，IoTDB Server 为用户提供三种配置项，使得您可以在启动服务或服务运行时对其进行配置。

三种配置项的配置文件均位于 IoTDB 安装目录：$IOTDB_HOME/conf文件夹下，其中涉及 server 配置的共有 4 个文件，分别为：iotdb-cluster.properties、iotdb-engine.properties、logback.xml 和 iotdb-env.sh(Unix 系统）/iotdb-env.bat(Windows 系统）, 您可以通过更改其中的配置项对系统运行的相关配置项进行配置。

配置文件的说明如下：

文件	文件说明
iotdb-env.sh/iotdb-env.bat	环境配置项的默认配置文件。可配置 JAVA-JVM 的相关系统配置项
iotdb-engine.properties	IoTDB 引擎层系统配置项的默认配置文件。可配置 IoTDB 引擎运行时的相关参数。此外，用户可以在文件中配置 IoTDB 存储时 TsFile 文件的相关信息，如每次将内存中的数据写入到磁盘前的缓存大小 (group_size_in_byte)，内存中每个列打一次包的大小 (page_size_in_byte) 等
logback.xml	日志配置文件，比如日志级别等
iotdb-cluster.properties	IoTDB 集群所需要的一些配置

需要做的修改 

IOT集群配置文件

文件名	配置项	配置项描述
iotdb-engine.properties	rpc_address	rpc的主机地址
	cpr_port	rpc的主机端口
	base_dir	基础文件目录
	data_dirs	数据存放目录
	wal_dir	wal包存放目录
iotdb-cluster.properties	internal_ip	IOTDB 集群各个节点之间内部通信的 IP 地址
	internal_meta_port	IoTDB meta 服务端口
	internal_data_port	IoTDB data 服务端口
	cluster_info_public_port	用于查看集群信息
	seed_nodes	集群中节点的地址
	default_replica_num	集群副本数

1、单机部署集群 

 配置

（PS: 在原有文件上修改，更改需要更改的配置，其他维持不变）

可在conf同目录下复制三个节点，并按照下面的配置文件进行修改配置

通过自己修改配置来处理端口和文件目录冲突，可以在一台机器上启动多个实例

# 复制node1
cp -r conf/ node1/
# 复制node2
cp -r conf/ node2/
# 复制node3
cp -r conf/ node3/

# 节点1:(默认)
iotdb-cluster.properties
seed_nodes = 127.0.0.1:9003,127.0.0.1:9005,127.0.0.1:9007
default_replica_num = 1
internal_meta_port = 9003
internal_data_port = 40010

# engine文件配置
iotdb-engine.properties
rpc_port=6667
system_dir=data/system data_dirs=data/data wal_dir=data/wal index_root_dir=data/index udf_root_dir=ext/udf tracing_dir=data/tracing

# 节点2:
iotdb-cluster.properties
seed_nodes = 127.0.0.1:9003,127.0.0.1:9005,127.0.0.1:9007
default_replica_num = 1
internal_meta_port = 9005
internal_data_port = 40012
#  iotdb-engine.properties配置
iotdb-engine.properties
rpc_port=6669
system_dir=node2/system data_dirs=node2/data wal_dir=node2/wal index_root_dir=node2/index udf_root_dir=node2/ext/udf tracing_dir=node2/tracing

# 节点3
iotdb-cluster.properties
seed_nodes = 127.0.0.1:9003,127.0.0.1:9005,127.0.0.1:9007
default_replica_num = 1
internal_meta_port = 9007
internal_data_port = 40014
# iotdb-engine.properties配置 
iotdb-engine.properties
rpc_port=6671
system_dir=node3/system data_dirs=node3/data wal_dir=node3/wal index_root_dir=node3/index udf_root_dir=node3/ext/udf tracing_dir=node3/tracing

 启动各个节点

# 启动节点1
nohup ./sbin/start-node.sh  ./node1/ >/dev/null 2>&1 &
# 启动节点2
nohup ./sbin/start-node.sh  ./node2/ >/dev/null 2>&1 &
# 启动节点3
nohup ./sbin/start-node.sh  ./node3/ >/dev/null 2>&1 &

 2、3节点部署集群

配置 

（PS: 在原有文件上修改，更改需要更改的配置，其他维持不变）

这里只更改了其中几个参数，其他参数依据需要进行更改

# 各个节点(配置):
# iotdb-cluster.properties配置项

seed_nodes = A_private_Ip:9003,B_private_Ip:9003,C_private_Ip:9003
default_replica_num = 3
internal_ip = A_private_Ip (or B_private_Ip, C_private_Ip)

# iotdb-enginer.properties配置项
rpc_address = A_public_Ip (or B_private_Ip, C_public_Ip)

在各个节点上启动服务 

# 启动节点1
nohup ./sbin/start-node.sh  >/dev/null 2>&1 &

备注

保证三个节点的 6567, 6667, 9003, 9004, 40010, 40011 和 31999 端口是开放的

3、启动后查看

1、使用cli工具链接数据库（start-cli.sh）

当集群部署的时候，该命令需要指定主机地址

2、查看启动日志

 

附录

集群配置项解读

• internal_ip 

名字	internal_ip
描述	IOTDB 集群各个节点之间内部通信的 IP 地址，比如心跳、snapshot 快照、raft log 等
类型	String
默认值	127.0.0.1
改后生效方式	重启服务生效，集群建立后不可再修改

• internal_meta_port

名字	internal_meta_port
描述	IoTDB meta 服务端口，用于元数据组（又称集群管理组）通信，元数据组管理集群配置和存储组信息** IoTDB 将为每个 meta 服务自动创建心跳端口。默认 meta 服务心跳端口为internal_meta_port+1，请确认这两个端口不是系统保留端口并且未被占用**
类型	Int32
默认值	9003
改后生效方式	重启服务生效，集群建立后不可再修改

• internal_data_port

名字	internal_data_port
描述	IoTDB data 服务端口，用于数据组通信，数据组管理数据模式和数据的存储** IoTDB 将为每个 data 服务自动创建心跳端口。默认的 data 服务心跳端口为internal_data_port+1。请确认这两个端口不是系统保留端口并且未被占用**
类型	Int32
默认值	40010
改后生效方式	重启服务生效，集群建立后不可再修改

• cluster_info_public_port

名字	cluster_info_public_port
描述	用于查看集群信息（如数据分区）的 RPC 服务的接口
类型	Int32
默认值	6567
改后生效方式	重启服务生效

• open_server_rpc_port

名字	open_server_rpc_port
描述	是否打开单机模块的 rpc port，用于调试模式，如果设置为 true，则单机模块的 rpc port 设置为rpc_port (in iotdb-engines.properties) + 1
类型	Boolean
默认值	false
改后生效方式	重启服务生效，集群建立后不可再修改

• seed_nodes

名字	seed_nodes
描述	集群中节点的地址，{IP/DOMAIN}:internal_meta_port格式，用逗号分割；对于伪分布式模式，可以都填写localhost，或是127.0.0.1 或是混合填写，但是不能够出现真实的 ip 地址；对于分布式模式，支持填写 real ip 或是 hostname，但是不能够出现localhost或是127.0.0.1。当使用start-node.sh(.bat)启动节点时，此配置意味着形成初始群集的节点，每个节点的seed_nodes应该一致，否则群集将初始化失败；当使用add-node.sh(.bat)添加节点到集群中时，此配置项可以是集群中已经存在的任何节点，不需要是用start-node.sh(bat)构建初始集群的节点。
类型	String
默认值	127.0.0.1:9003,127.0.0.1:9005,127.0.0.1:9007
改后生效方式	重启服务生效

• rpc_thrift_compression_enable

名字	rpc_thrift_compression_enable
描述	是否开启 thrift 压缩通信，注意这个参数要各个节点保持一致，也要与客户端保持一致，同时也要与iotdb-engine.properties中rpc_thrift_compression_enable参数保持一致
类型	Boolean
默认值	false
改后生效方式	重启服务生效，需要整个集群同时更改

• default_replica_num

名字	default_replica_num
描述	集群副本数
类型	Int32
默认值	3
改后生效方式	重启服务生效，集群建立后不可更改

• multi_raft_factor

名字	multi_raft_factor
描述	每个数据组启动的 raft 组实例数量，默认每个数据组启动一个 raft 组
类型	Int32
默认值	1
改后生效方式	重启服务生效，集群建立后不可更改

• cluster_name

名字	cluster_name
描述	集群名称，集群名称用以标识不同的集群，一个集群中所有节点的 cluster_name 都应相同
类型	String
默认值	default
改后生效方式	重启服务生效

• connection_timeout_ms

名字	connection_timeout_ms
描述	同一个 raft 组各个节点之间的心跳超时时间，单位毫秒
类型	Int32
默认值	20000
改后生效方式	重启服务生效

• read_operation_timeout_ms

名字	read_operation_timeout_ms
描述	读取操作超时时间，仅用于内部通信，不适用于整个操作，单位毫秒
类型	Int32
默认值	30000
改后生效方式	重启服务生效

• write_operation_timeout_ms

名字	write_operation_timeout_ms
描述	写入操作超时时间，仅用于内部通信，不适用于整个操作，单位毫秒
类型	Int32
默认值	30000
改后生效方式	重启服务生效

• min_num_of_logs_in_mem

名字	min_num_of_logs_in_mem
描述	删除日志操作执行后，内存中保留的最多的提交的日志的数量。增大这个值将减少在 CatchUp 使用快照的机会，但也会增加内存占用量
类型	Int32
默认值	100
改后生效方式	重启服务生效

• max_num_of_logs_in_mem

名字	max_num_of_logs_in_mem
描述	当内存中已提交的日志条数达到这个值之后，就会触发删除日志的操作，增大这个值将减少在 CatchUp 使用快照的机会，但也会增加内存占用量
类型	Int32
默认值	1000
改后生效方式	重启服务生效

• log_deletion_check_interval_second

名字	log_deletion_check_interval_second
描述	检查删除日志任务的时间间隔，每次删除日志任务将会把已提交日志超过 min_num_of_logs_in_mem 条的最老部分删除，单位秒
类型	Int32
默认值	60
改后生效方式	重启服务生效

• enable_auto_create_schema

名字	enable_auto_create_schema
描述	是否支持自动创建 schema，这个值会覆盖iotdb-engine.properties中enable_auto_create_schema的配置
类型	BOOLEAN
默认值	true
改后生效方式	重启服务生效

• consistency_level

名字	consistency_level
描述	读一致性，目前支持 3 种一致性：strong、mid、weak。strong consistency 每次操作都会尝试与 Leader 同步以获取最新的数据，如果失败（超时），则直接向用户返回错误； mid consistency 每次操作将首先尝试与 Leader 进行同步，但是如果失败（超时），它将使用本地当前数据向用户提供服务； weak consistency 不会与 Leader 进行同步，而只是使用本地数据向用户提供服务
类型	strong、mid、weak
默认值	mid
改后生效方式	重启服务生效

• is_enable_raft_log_persistence

名字	is_enable_raft_log_persistence
描述	是否开启 raft log 持久化
类型	BOOLEAN
默认值	true
改后生效方式	重启服务生效