IoTDB学习笔记

IoTDB

IoTDB简介

IoTDB (Internet of Things Database) 是一款时序数据库管理系统，可以为用户提供数据收集、存储和分析等服务。IoTDB由于其轻量级架构、高性能和高可用的特性，以及与 Hadoop 和 Spark 生态的无缝集成，满足了工业 IoT 领域中海量数据存储、高吞吐量数据写入和复杂数据查询分析的需求。

IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。

IoTDB 是一个用于管理大量时间序列数据的数据库，它采用了列式存储、数据编码、预计算和索引技术，具有类 SQL 的接口，可支持每秒每节点写入数百万数据点，可以秒级获得超过数万亿个数据点的查询结果。它还可以很容易地与 Apache Hadoop、MapReduce 和 Apache Spark 集成以进行分析。

主要功能特点

IoTDB具有以下特点：

• 灵活的部署方式
  • 云端一键部署
  • 终端解压即用
  • 终端-云端无缝连接（数据云端同步工具）
• 低硬件成本的存储解决方案
  • 高压缩比的磁盘存储（10亿数据点硬盘成本低于1.4元）
• 目录结构的时间序列组织管理方式
  • 支持复杂结构的智能网联设备的时间序列组织
  • 支持大量同类物联网设备的时间序列组织
  • 可用模糊方式对海量复杂的时间序列目录结构进行检索
• 高通量的时间序列数据读写
  • 支持百万级低功耗强连接设备数据接入（海量）
  • 支持智能网联设备数据高速读写（高速）
  • 以及同时具备上述特点的混合负载
• 面向时间序列的丰富查询语义
  • 跨设备、跨传感器的时间序列时间对齐
  • 面向时序数据特征的计算
  • 提供面向时间维度的丰富聚合函数支持
• 极低的学习门槛
  • 支持类SQL的数据操作
  • 提供JDBC的编程接口
  • 完善的导入导出工具
• 完美对接开源生态环境
  • 支持开源数据分析生态系统：Hadoop、Spark
  • 支持开源可视化工具对接：Grafana

系统架构

IoTDB套件由若干个组件构成，共同形成“数据收集-数据写入-数据存储-数据查询-数据可视化-数据分析”等一系列功能。

如下图展示了使用IoTDB套件全部组件后形成的整体应用架构。

下文称所有组件形成IoTDB套件，而IoTDB特指其中的时间序列数据库组件。

在上图中，用户可以通过JDBC将来自设备上传感器采集的时序数据、服务器负载和CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地或者远程的IoTDB中。用户还可以将上述数据直接写成本地（或位于HDFS上）的TsFile文件。

可以将TsFile文件写入到HDFS上，进而实现在Hadoop或Spark的数据处理平台上的诸如异常检测、机器学习等数据处理任务。

对于写入到HDFS或者本地的TsFile文件，可以利用TsFile-Hadoop或TsFile-Spark连接器允许Hadoop或Spark进行数据处理。

对于分析的结果，可以写回成TsFile文件。

IoTDB和TsFile还提供了相应的客户端工具，满足用户查看和写入数据的SQL形式、脚本形式和图形化形式等多种需求。

应用场景

• 场景1

某公司采用表面贴装技术（SMT）生产芯片：需要首先在芯片上的焊接点处印刷（即涂抹）锡膏，然后将元器件放置在锡膏上，进而通过加热熔化锡膏并冷却，使得元器件被焊接在芯片上。上述流程采用自动化生产线。为了确保产品质量合格，在印刷锡膏后，需要通过光学设备对锡膏印刷的质量进行评估：采用三维锡膏印刷检测（SPI）设备对每个焊接点上的锡膏的体积（v）、高度（h）、面积（a）、水平偏移（px）、竖直偏移（py）进行度量。

为了提升印刷质量，该公司有必要将各个芯片上焊接点的度量值进行存储，以便后续基于这些数据进行分析。

此时可以采用IoTDB套件中的TsFile组件、TsFileSync工具和Hadoop/Spark集成组件对数据进行存储：每新印刷一个芯片，就在SPI设备上使用SDK写一条数据，这些数据最终形成一个TsFile文件。通过TsFileSync工具，生成的TsFile文件将按一定规则（如每天）被同步到Hadoop数据中心，并由数据分析人员对其进行分析。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5OiMa8Kq-1650443396270)(F:\ZHL\学习\学习笔记\IoTDB学习笔记\static\img\每新印刷一个芯片，就在SPI设备上使用SDK写一条数据，这些数据最终形成一个TsFile文件.png)]

在场景1中，仅需要TsFile、TsFileSync部署在一台PC上，此外还需要部署Hadoop/Spark连接器用于数据中心端Hadoop/Spark集群的数据存储和分析。其示意图如上图所示。下图展示了此时的应用架构。

• 场景2

某公司拥有多座风力发电机，公司在每个发电机上安装了上百种传感器，分别采集该发电机的工作状态、工作环境中的风速等信息。

为了保证发电机的正常运转并对发电机及时监控和分析，公司需要收集这些传感器信息，在发电机工作环境中进行部分计算和分析，还需要将收集的原始信息上传到数据中心。

此时可以采用IoTDB套件中的IoTDB、TsFileSync工具和Hadoop/Spark集成组件等。需要部署一个场控PC机，其上安装IoTDB和TsFileSync工具，用于支持读写数据、本地计算和分析以及上传数据到数据中心。此外还需要部署Hadoop/Spark连接器用于数据中心端Hadoop/Spark集群的数据存储和分析。如下图所示。

下图给出了此时的应用架构。

• 场景3

某工厂在厂区范围内拥有多种机械手设备，这些机械手设备的硬件配置有限，很难搭载复杂的应用程序。在每个机械手设备上工厂安装了很多种传感器，用以对机械手的工作状态、温度等信息进行监控。由于工厂的网络环境原因，在工厂内部的机械手均处于工厂内部局域网内，无法连接外部网络。同时，工厂中会有少量服务器能够直接连接外部公网。

为了保证机械手的监控数据能够及时监控和分析，公司需要收集这些机械手传感器信息，将其发送至可以连接外部网络的服务器上，而后将原始数据信息上传到数据中心进行复杂的计算和分析。

此时，可以采用IoTDB套件中的IoTDB、IoTDB-Client工具、TsFileSync工具和Hadoop/Spark集成组件等。将IoTDB服务器安装在工厂连接外网的服务器上，用户接收机械手传输的数据并将数据上传到数据中心。将IoTDB-Client工具安装在每一个连接工厂内网的机械手上，用于将传感器产生的实时数据上传到工厂内部服务器。再使用TsFileSync工具将原始数据上传到数据中心。此外还需要部署Hadoop/Spark连接器用于数据中心端Hadoop/Spark集群的数据存储和分析。如下图中间场景所示。

下图给出了此时的应用架构。

• 场景4

某汽车公司在其下属的汽车上均安装了传感器采集车辆的行驶状态等监控信息。这些汽车设备的硬件配置有限，很难搭载复杂的应用程序。安装传感器的汽车可以通过窄带物联网相互连接，也可以通过窄带物联网将数据发送至外部网络。

为了能够实时接收汽车传感器所采集的物联网数据，公司需要在车辆行驶的过程中将传感器数据通过窄带物联网实时发送至数据中心，而后在数据中心的服务器上进行复杂的计算和分析。

此时，可以采用IoTDB套件中的IoTDB、IoTDB-Client和Hadoop/Spark集成组件等。将IoTDB-Client工具安装在每一辆车联网内的车辆上，使用IoTDB-JDBC工具将数据直接传回数据中心的服务器。

此外还需要部署Hadoop/Spark集群用于数据中心端的数据存储和分析。如下图所示。

快速上手

GitHub：https://github.com/apache/iotdb

安装环境

安装前需要保证设备上配有JDK>=1.8的运行环境，并配置好JAVA_HOME环境变量。

(目前 1.8、11和13 已经被验证可用。请确保环变量境路径已正确设置)。

• Maven >= 3.6 (如果希望从源代码编译和安装IoTDB)。
• 设置 max open files 为 65535，以避免"too many open files"错误。
• 将 somaxconn 设置为 65535 以避免系统在高负载时出现 “connection reset” 错误。 (可选)

# Linux
> sudo sysctl -w net.core.somaxconn=65535

# FreeBSD or Darwin
> sudo sysctl -w kern.ipc.somaxconn=65535

注： 也可以选择不安装，使用我们提供的’mvnw.sh’ 或 ‘mvnw.cmd’ 工具。使用时请用’mvnw.sh’ 或 'mvnw.cmd’命令代替下文的’mvn’命令。

安装步骤

IoTDB支持多种安装途径。用户可以使用三种方式对IoTDB进行安装——使用源码、下载二进制可运行程序、使用docker镜像。

• 使用源码：您可以从代码仓库下载源码并编译，具体编译方法见下方。
• 下载二进制可运行程序：请从下载 (opens new window)页面下载最新的安装包，解压后即完成安装。
• 使用Docker镜像：dockerfile 文件位于 https://github.com/apache/iotdb/blob/master/docker/src/main

软件目录结构

• sbin 启动和停止脚本目录
• conf 配置文件目录
• tools 系统工具目录
• lib 依赖包目录

IoTDB试用

用户可以根据以下操作对IoTDB进行简单的试用，若以下操作均无误，则说明IoTDB安装成功。

启动IoTDB

用户可以使用sbin文件夹下的start-server脚本启动IoTDB。

Linux系统与MacOS系统启动命令如下：

nohup sbin/start-server.sh >/dev/null 2>&1 &
or
nohup sbin/start-server.sh -c <conf_path> -rpc_port <rpc_port> >/dev/null 2>&1 &

Windows系统启动命令如下：

sbin\start-server.bat -c <conf_path> -rpc_port <rpc_port>

• “-c” and “-rpc_port” 都是可选的。
• 选项 “-c” 指定了配置文件所在的文件夹。
• 选项 “-rpc_port” 指定了启动的 rpc port。
• 如果两个选项同时指定，那么rpc_port将会覆盖conf_path下面的配置。

使用Cli工具

IoTDB为用户提供多种与服务器交互的方式，在此我们介绍使用Cli工具进行写入、查询数据的基本步骤。

初始安装后的IoTDB中有一个默认用户：root，默认密码为root。用户可以使用该用户运行Cli工具操作IoTDB。

Cli工具启动脚本为sbin文件夹下的start-cli脚本。启动脚本时需要指定运行ip、port、username和password。若脚本未给定对应参数，则默认参数为"-h 127.0.0.1 -p 6667 -u root -pw -root"

以下启动语句为服务器在本机运行，且用户未更改运行端口号的示例。

Linux系统与MacOS系统启动命令如下：

sbin/start-cli.sh -h 127.0.0.1 -p 6667 -u root -pw root

Windows系统启动命令如下：

sbin\start-cli.bat -h 127.0.0.1 -p 6667 -u root -pw root

启动后出现如图提示即为启动成功。

IoTDB的基本操作

在这里，我们首先介绍一下使用Cli工具创建时间序列、插入数据并查看数据的方法。

创建组

数据在IoTDB中的组织形式是以时间序列为单位，每一个时间序列中有若干个数据-时间点对，每一个时间序列属于一个存储组。在定义时间序列之前，要首先使用SET STORAGE GROUP语句定义存储组。SQL语句如下：

定义存储组相当于创建了一个表 。创建的组必须依托与一个用户下，如下可以理解成在root用户下创建了一个ln的组。但是查询的时候 root.ln要做为一个整体，可以看成是一个组的名为 root.ln。

SET STORAGE GROUP TO root.ln

查看组

我们可以使用SHOW STORAGE GROUP语句来查看系统当前所有的存储组，SQL语句如下：

# 查看组
SHOW STORAGE GROUP

执行结果为：

IoTDB> SHOW STORAGE GROUP
+-------------+
|storage group|
+-------------+
|      root.ln|
+-------------+
Total line number = 1
It costs 0.385s

创建TIMESERIES

存储组设定后，使用CREATE TIMESERIES语句可以创建新的时间序列，创建时间序列时需要定义数据的类型和编码方式。此处我们创建两个时间序列，SQL语句如下：

下列语句表示在 root.ln 组中创建了status和temperature两个时间序列，时间序列相当于表中的字段。

# 创建TIMESERIES
CREATE TIMESERIES root.ln.wf01.wt01.status WITH DATATYPE=BOOLEAN, ENCODING=PLAIN
CREATE TIMESERIES root.ln.wf01.wt01.temperature WITH DATATYPE=FLOAT, ENCODING=RLE