iotDB集群部署[完整版]

于 2024-04-23 19:19:31 发布
阅读量496 收藏 11
点赞数 6
文章标签： iotdb docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyj_1213364677/article/details/138136028
版权

iotDB部署

拉取镜像

docker pull apache/iotdb:1.3.0-confignode
docker pull apache/iotdb:1.3.0-datanode

编写docker-compose.yml

1C1D

​ c为config节点，d为data节点

  • config节点：主要负责元数据管理、集群管理和数据一致性维护。它存储了整个集群的元数据信息，包括数据分区、时间序列等，并负责协调各个data节点之间的数据同步。
  • data节点：主要负责存储实际的数据。它接收客户端发送的数据写入请求，并将数据持久化到本地存储系统中。同时，data节点还需要与其他data节点进行数据同步，以保证数据的一致性。

通常可以为1C多D结构，多C多D集群可用性更强，不会因为一个config节点宕机而出现data节点之间不可用的情况。

version: "3"
services:
  iotdb-confignode:
    image: apache/iotdb:1.3.0-confignode
    container_name: iotdb-confignode
    environment:
      - cn_internal_address=127.0.0.1
      - cn_seed_config_node=127.0.0.1:10710
      - schema_replication_factor=1
      - cn_internal_port=10710
      - cn_consensus_port=10720
      - schema_region_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - config_node_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - data_replication_factor=1
      - data_region_consensus_protocol_class=org.apache.iotdb.consensus.iot.IoTConsensus
    volumes:
      # - /etc/hosts:/etc/hosts:ro
      - ./data/confignode:/iotdb/data
      - ./logs/confignode:/iotdb/logs
    network_mode: "host"

  iotdb-datanode-1:
    image: apache/iotdb:1.3.0-datanode
    container_name: iotdb-datanode-1
    environment:
      - dn_rpc_address=127.0.0.1
      - dn_internal_address=127.0.0.1
      - dn_seed_config_node=127.0.0.1:10710
      - data_replication_factor=1
      - dn_rpc_port=6667
      - dn_mpp_data_exchange_port=10740
      - dn_schema_region_consensus_port=10750
      - dn_data_region_consensus_port=10760
      - schema_replication_factor=1
      - schema_region_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - config_node_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - data_region_consensus_protocol_class=org.apache.iotdb.consensus.iot.IoTConsensus
    volumes:
      # - /etc/hosts:/etc/hosts:ro
      - ./data/datanode-1:/iotdb/data/
      - ./logs/datanode-1:/iotdb/logs/
    network_mode: "host"
ConfigNode节点配置
  • cn_internal_address ConfigNode 集群内部地址
  • cn_internal_port ConfigNode 集群服务监听端口
  • cn_seed_config_node 目标 ConfigNode 地址，ConfigNode 通过此地址加入集群
DataNode RPC服务配置
  • dn_rpc_address 客户端 RPC 服务监听地址
  • dn_rpc_port Client RPC 服务监听端口
  • dn_internal_address DataNode 内网通信地址
  • dn_internal_port DataNode 内网通信端口
  • dn_mpp_data_exchange_port MPP 数据交换端口
  • dn_schema_region_consensus_port DataNode 元数据副本的共识协议通信端口
  • dn_data_region_consensus_port DataNode 数据副本的共识协议通信端口

3C3D

C只能为奇数个，否则无法选举出leader

所有的ConfigNode通过该cn_seed_config_node加入集群，无需修改cn_seed_config_node=127.0.0.1:10710

配置与启动
配置文件
node1
version: "3"
services:
  iotdb-confignode:
    image: apache/iotdb:1.3.0-confignode
    container_name: iotdb-confignode
    environment:
      - memory_size=256M
      - cn_internal_address=127.0.0.1
      - cn_seed_config_node=127.0.0.1:10710
      - schema_replication_factor=3
      - cn_internal_port=10710
      - cn_consensus_port=10720
      - schema_region_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - config_node_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - data_replication_factor=3
      - data_region_consensus_protocol_class=org.apache.iotdb.consensus.iot.IoTConsensus
    volumes:
      # - /etc/hosts:/etc/hosts:ro
      - ./data/confignode:/iotdb/data
      - ./logs/confignode:/iotdb/logs
    network_mode: "host"

  iotdb-datanode-1:
    image: apache/iotdb:1.3.0-datanode
    container_name: iotdb-datanode-1
    environment:
      - memory_size=512M
      - dn_rpc_address=127.0.0.1
      - dn_internal_address=127.0.0.1
      - dn_seed_config_node=127.0.0.1:10710
      - data_replication_factor=3
      - dn_rpc_port=6667
      - dn_internal_port=10730
      - dn_mpp_data_exchange_port=10740
      - dn_schema_region_consensus_port=10750
      - dn_data_region_consensus_port=10760
      - schema_replication_factor=3
      - schema_region_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - config_node_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - data_region_consensus_protocol_class=org.apache.iotdb.consensus.iot.IoTConsensus
    volumes:
      # - /etc/hosts:/etc/hosts:ro
      - ./data/datanode-1:/iotdb/data/
      - ./logs/datanode-1:/iotdb/logs/
    network_mode: "host"
node2
version: "3"
services:
  iotdb-confignode:
    image: apache/iotdb:1.3.0-confignode
    container_name: iotdb-confignode-2
    environment:
      - memory_size=256M
      - cn_internal_address=127.0.0.1
      - cn_seed_config_node=127.0.0.1:10710
      - schema_replication_factor=3
      - cn_internal_port=10711
      - cn_consensus_port=10721
      - schema_region_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - config_node_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - data_replication_factor=3
      - data_region_consensus_protocol_class=org.apache.iotdb.consensus.iot.IoTConsensus
    volumes:
      # - /etc/hosts:/etc/hosts:ro
      - ./data/confignode-2:/iotdb/data
      - ./logs/confignode-2:/iotdb/logs
    network_mode: "host"

  iotdb-datanode-1:
    image: apache/iotdb:1.3.0-datanode
    container_name: iotdb-datanode-2
    environment:
      - memory_size=512M
      - dn_rpc_address=127.0.0.1
      - dn_internal_address=127.0.0.1
      - dn_seed_config_node=127.0.0.1:10710
      - data_replication_factor=3
      - dn_rpc_port=6668
      - dn_internal_port=10731
      - dn_mpp_data_exchange_port=10741
      - dn_schema_region_consensus_port=10751
      - dn_data_region_consensus_port=10761
      - schema_replication_factor=3
      - schema_region_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - config_node_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - data_region_consensus_protocol_class=org.apache.iotdb.consensus.iot.IoTConsensus
    volumes:
      # - /etc/hosts:/etc/hosts:ro
      - ./data/datanode-2:/iotdb/data/
      - ./logs/datanode-2:/iotdb/logs/
    network_mode: "host"
node3
version: "3"
services:
  iotdb-confignode:
    image: apache/iotdb:1.3.0-confignode
    container_name: iotdb-confignode-3
    environment:
      - memory_size=256M
      - cn_internal_address=127.0.0.1
      - cn_seed_config_node=127.0.0.1:10710
      - schema_replication_factor=3
      - cn_internal_port=10712
      - cn_consensus_port=10722
      - schema_region_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - config_node_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - data_replication_factor=3
      - data_region_consensus_protocol_class=org.apache.iotdb.consensus.iot.IoTConsensus
    volumes:
      # - /etc/hosts:/etc/hosts:ro
      - ./data/confignode-3:/iotdb/data
      - ./logs/confignode-3:/iotdb/logs
    network_mode: "host"

  iotdb-datanode-1:
    image: apache/iotdb:1.3.0-datanode
    container_name: iotdb-datanode-3
    environment:
      - memory_size=512M
      - dn_rpc_address=127.0.0.1
      - dn_internal_address=127.0.0.1
      - dn_seed_config_node=127.0.0.1:10710
      - data_replication_factor=3
      - dn_rpc_port=6669
      - dn_internal_port=10732
      - dn_mpp_data_exchange_port=10742
      - dn_schema_region_consensus_port=10752
      - dn_data_region_consensus_port=10762
      - schema_replication_factor=3
      - schema_region_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - config_node_consensus_protocol_class=org.apache.iotdb.consensus.ratis.RatisConsensus
      - data_region_consensus_protocol_class=org.apache.iotdb.consensus.iot.IoTConsensus
    volumes:
      # - /etc/hosts:/etc/hosts:ro
      - ./data/datanode-3:/iotdb/data/
      - ./logs/datanode-3:/iotdb/logs/
    network_mode: "host"

在不同的目录中分别利用docker-compose up指令启动容器即可。

启动与关闭

docker-compose up -d  -d代表后台模式启动
docker-compose down

进入容器

docker exec -it iotdb-datanode-3 /bin/bash

连接数据库

./start-cli.sh

查看集群状态

show cluster details

image-20240423111953764

集群成功

最终检查

操作某个节点，创建数据库，在其他节点中查看是否同步。

show databases

CREATE DATABASE root.ln

show databases

按ctrl + p + q退出容器内部

image-20240423112313532

利用docker exec进入其他节点容器查看

docker exec -it iotdb-datanode-2 /bin/bash

./start-cli.sh

show databases

image-20240423112345258

成功同步

海绵宝宝我们去玩吧
关注
  • 6
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
iotdb集群模式部署
代码潮人的博客
02-24 1125
重要声明：部署的版本要和脚本对应上，这里可以点击来获取最新的脚本；我使用的是1.3.0版本的iotdb下面是我基于三个节点的部署步骤：假如有三台物理机，里面安装了centos系统，它们的hostname分别是iotdb-1、iotdb-2、iotdb-3。
IoTDB 集群部署——windows
zhu1361的专栏
01-03 664
修改DataNode文件，data1\conf\iotdb-datanode.properties，其中dn_rpc_address、dn_internal_address为本机IP，dn_rpc_port为访问端口，dn_target_config_node_list为confignode中配置的cn_target_config_node_list，如果存在多个以逗号分隔。修改cn_internal_address为服务器IP，cn_target_config_node_list为服务器IP。
IOTDB集群部署
hu10131013的博客
09-06 7250
背景 IOTDB单节点的数据插入性能不是很好，所以，想看看集群的效果，那么就需要搭建集群的环境 文件获取 下载地址(选择集群版本) 文件目录 完成IoTDB Cluster安装后，默认会在IoTDB Cluster的根目录下生成下列目录文件： 目录 说明 conf 配置文件目录 data 默认数据文件目录，可通过修改配置文件修改位置 ext 默认udf目录，可通过修改配置文件修改位置 lib 库文件目录 logs 运行日志..
IoTDB服务安装教程-集群版
jast
12-11 418
也就是，在要添加的节点上，下载IoTDB的安装包，解压，修改配置，然后启动。要保证第一个节点启动成功后，再启动其他节点。确切的说，要先保证第一个 ConfigNode 服务启动成功，即。如果启动失败，需要在所有节点执行清理环境后，然后从启动第一个节点开始，再重新执行一次。说明：删除 data 目录是必要的，删除 logs 目录是为了纯净日志，非必需。后指定的IP地址，可以是任意一个 DataNode 的IP地址。如果启动失败，需要清理环境（参考清理环境章节）后，再次启动。在任意节点上，在 Cli 执行。
IoTDB的部署
nkzee的博客
06-07 979
IoTDB的部署
docker compose部署MongoDB教程
宋发元
05-12 5898
在本教程中，我们将使用Docker Compose来部署MongoDB数据库，包括配置时区、数据库名、端口、用户密码等信息，同时挂载数据、日志、配置文件等相关路径到宿主机，以方便管理。首先需要在目标机器上安装Docker和Docker Compose。如果你已经安装过了，可以跳过这一步。请参考Docker官方文档安装Docker，并参考Docker Compose官方文档安装Docker Compose。
IoTDB在Linux上部署的傻瓜式教程
qq_44976861的博客
11-04 3172
iotdb傻瓜式教程
iotdb集群版本安装包
07-26
iotdb集群版本安装包，支持linux和windows下安装部署，安装步骤详情见主页安装篇说明，IoTDB (Internet of Things Database) 是由清华大学主导的 Apache 孵化项目，是一款聚焦工业物联网、高性能轻量级的时序数据...
IoTDB 1.3.0 all
最新发布
04-09
apache-iotdb-1.3.0-all-bin
iotdb-enterprise-workbench
01-05
workbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkbenchworkb
iotdb安装使用手册
08-14
iotdb安装使用手册，里面介绍了iotdb的安装和使用，有iotdb的使用示例；以及iotdb和grafana的使用。
tablets iotdb
01-17
tablets iotdb
iotdb连接grafana
08-14
iotdb连接granfana，自己在linux系统上测试，可以使用，如有不会，请在下方留言。
时序数据库-3-[IoTDB]的安装与使用
热门推荐
qq_20466211的博客
04-17 1万+
(1)关闭Hyper-v 控制面板-> 程序 -> 启用或关闭Windows功能 -> 勾选Hyper-v。 启用Hyper-V后，VirtualBox就无法在使用。 但是，将保留所有现有的VirtualBox VM映像。
Apache IoTDB 集群升级方案记录
queen123444的博客
03-08 266
IoTDB集群升级方案记录
Iotdb 0.13配置集群和数据同步共享
Tongyao
08-02 937
1、新开一个xshell窗口，随便连接个服务器，只要这个服务器能给前2台服务器ping通，并且有iotdb就可以。1、iotdb 0.13版本下载（如果已安装请跳过），进入opt目录并下载。如果出现这种情况不用管，是因为集群后其他节点没有启动所抛出了个连接超时异常。至此iotdb集群配置完成，其他集群跟这个配置一样，但需要修改。是所有集群的IP和iotdb的端口，多个集群以英文逗号隔开。是当前服务器的本机IP，并修改如下配置。机器查看数据是否同步和写入。数据成功写入并同步，至此完。插入成功，并且有数据。
Apache IoTDB介绍
zjx1230的博客
05-06 5491
什么是时序数据库 时序数据库-为万物互联插上一双翅膀 – 有态度的HBase/Spark/BigData 总体介绍 Apache IoTDB 始于清华大学软件学院，是一款时序数据库。主要使用场景是在物联网相关行业，如：车联网、风力发电、地铁、飞机监控等等，具体应用案例及公司详情可以查看：IoTDB在实际公司中的使用信息收集。它采用了列式存储、数据编码、预计算和索引技术，具有类 SQL 的接口，可支持每秒每节点写入数百万数据点，可以秒级获得超过数万亿个数据点的查询结果。它还可以很容易地与 Apache
iotdb springboot
11-21
IoTDB 是一个轻量级、高效的开源物联网数据存储系统，它专门用于物联网设备产生的海量时序数据的存储和管理。而 Spring Boot 是一个基于 Java 的开源框架，用于简化新兴的微服务架构中的应用程序开发。通过结合 IoTDB 和 Spring Boot，可以实现物联网设备数据的实时存储和快速访问。 首先，结合 IoTDB 和 Spring Boot 可以创建一个高效的数据存储和管理系统，可以支持大规模的物联网设备数据接入和存储。通过使用 Spring Boot 提供的快速开发功能，可以更快速地搭建出一个完整的物联网数据处理系统，并且可以通过 Spring Boot 提供的各种配置和扩展功能来满足不同场景下的需求。 其次，IoTDB 和 Spring Boot 的结合还可以实现物联网设备数据的实时查询和分析功能。IoTDB 提供了高效的数据存储和查询能力，而 Spring Boot 可以通过集成各种数据分析和可视化组件，实现对物联网数据的实时监控和分析。 最后，IoTDB 和 Spring Boot 的结合也可以实现数据安全和权限管理功能。通过 Spring Boot 的安全框架，可以实现对物联网设备数据的访问权限控制和数据加密，以保障数据安全。 综上所述，IoTDB 和 Spring Boot 的结合可以实现物联网设备数据的高效存储、实时查询和分析、数据安全和权限管理等功能，为物联网数据处理系统的开发和应用提供了强大的支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值