IoTDB 入门教程 基础篇①——时序数据库为什么选IoTDB ？

已于 2024-07-29 16:12:37 修改
阅读量5.6k 收藏 28
点赞数 35
分类专栏： Apache IoTDB 入门教程 文章标签： iotdb 时序数据库 数据库 TsFile Apache IoTDB
于 2024-04-30 15:33:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kangweijian/article/details/138337198
版权

文章目录

一、前文

IoTDB入门教程——导读

关注博主的同学都知道，博主在物联网领域深耕多年。

时序数据库，博主已经用过很多，从最早的InfluxDB，到后期的TDengine，以及现在的IoTDB。

  • 最早是没得选，只能用InfluxDB。
  • 后面是有的选，换了TDengine。
  • 现在是选择太多，择优选了IoTDB。

各个时序数据库的厂家，随着版本更新，性能越来越强，越来越好用，也越来越易用。

本文主要讲述IoTDB的优势，时序数据库选择困难症的同学可以看看。已经选定IoTDB的同学可以直接看后面的应用实战。

二、性能排行第一

正如俗语所言：“是骡子是马，拉出来遛遛。”

benchANT，一家位于德国的权威机构，专注于云设施和数据库性能评估。

benchANT 数据库性能排行榜链接：https://benchant.com/ranking/database-ranking

Workload Type选择Time Series: DevOps。

时序数据的特点显著，包括测量点众多、上报频率高以及数据规模庞大等。

因此，时序数据库面临的挑战也不容小觑：必须保证高频写入的速度、海量数据查询的迅捷以及数据存储成本的优化。

鉴于这些独特的需求，选择性能强大的时序数据库变得至关重要。

毕竟，如果MySQL能够满足这些要求，我们也不会特意去寻找更适合的时序数据库了。

Alt

三、完全开源

  • 从数据文件到分布式，不依赖第三方系统，国产自研，完全开源。

  • Apache 基金会唯一时序数据库 Top-Level 项目Apache / IoTDB。

  • 产学研结合， 拥有 30+ 时序数据管理领域发明专利，在数据库顶会发表 10+ 篇论文。

  • 发源于清华大学，其核心团队成立了天谋科技（北京）有限公司，专注 IoTDB 产品的打磨。

四、数据文件TsFile

物联网时序数据文件格式：Apache / TsFile

众所周知，数据文件如何高效的压缩和读写是数据库设计的一大关键。

而数据文件又处于很底层，大部分数据库厂家不对外提供这方面的资料。

但是IoTDB却把这方面的项目独立出来，成为又一个Apache Top-Level 项目Apache / TsFile。实在是不得不佩服。

TsFile是一种为时间序列数据设计的列式存储文件格式，它支持高效压缩、高读写吞吐量，并且兼容多种框架，如Spark和Flink。TsFile很容易集成到物联网大数据处理框架中。

  • 高效的存储和压缩：TsFile采用了先进的压缩技术来最大限度地减少存储需求，从而减少了磁盘空间消耗并提高了系统效率。
  • 灵活元数据组织管理：TsFile允许在不预先定义模式的情况下直接写入数据，支持数据灵活获取。
  • 高性能时间范围查询：高性能时间范围查询
  • 大数据生态无缝集成：TsFile能够与现有的时间序列数据库（如IoTDB）、数据处理框架（如Spark和Flink）无缝集成。

TsFile API 快速上手

讲到这里又不得不提到TDengine，TDengine虽然版本更新很快，性能也很强。

但是他们底层数据文件也经常修改，不仅2.x与3.x版本的数据文件不兼容，3.0.0.1版本与3.0.2.0版本的数据文件也不兼容。

因为3.0.0.1的底层数据文件不稳定，所以后面版本就及时做了大改，所以导致的不兼容。

底层数据文件不稳定就很容易出现大问题，数据丢失，数据无法正常迁移等等。

这里也没有踩踏TDengine的意思，TDengine也很好，只不过通过对比，感觉IoTDB更好。

一群清华的硕士博士做出来的东西，确实靠谱。

五、乱序数据高写入

IoTDB不仅支持高频的数据写入，还支持乱序数据写入。

乱序数据是指：早产生的数据后到了，晚产生的数据先到了

这是我们在实际应用中经常遇到的场景，会带来一些困扰，虽然不痛，但也很烦。

IoTDB首创了乱序分离存储引擎用独有的顺乱序判断的机制，将顺序数据与乱序数据分开，并通过多种空间合并的方法，去消除乱序数据。

Alt

六、其他

IoTDB不仅功能丰富，而且具有诸多优势和亮点。只不过这些博主目前暂时用不到，所以这里就快速过一下，留个印象，后面实际项目有需要的时候自然会想起来。

  • 全面的端-边-云协同模式：IoTDB支持边缘模式、单机模式以及分布式架构，为用户提供了灵活多样的部署选项。
  • 专为物联网打造：IoTDB拥有设备测点物联网数据模型、IoTLSM物联网存储引擎和IoTConsensus物联网共识协议，确保数据在物联网环境中的高效管理和传输。
  • 卓越的性能表现：通过已有案例展示，IoTDB能够轻松管理亿级序列，实现数千万点/秒的吞吐能力，并提供高达十倍的压缩比，大大提升了数据处理效率。
  • 树形时序数据模型：IoTDB采用树形结构进行时序数据建模，确保这些关键数据能够被有效、有序地管理和查询。
  • 智能分析功能（AINode）：IoTDB积极拥抱AI技术，提供了智能化的分析功能。它涵盖了多种适用于时序数据的算法和自研模型，能够实现序列预测、异常检测等高级分析场景，为用户提供深入的洞察力。
  • 强大的处理能力：IoTDB支持丰富的时序特性查询和分析功能，满足用户在各种复杂场景下的数据处理需求。

七、参考

时序数据库IoTDB：功能详解与行业应用

觉得好，就一键三连呗（点赞+收藏+关注）

小康师兄
关注
  • 35
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
IoTDB 入门教程 基础篇⑥——数据库SQL操作 | 数据库管理和数据读写
小康师兄
05-03 4286
IoTDB 入门教程⑥——数据库SQL操作 | 数据库管理和数据读写
开源时间序列数据库IoTDB，物联网项目必备！
网络技术联盟站
12-14 904
什么是IoTDB？IoTDB（物联网数据库）是一个开源的时间序列数据库，专为处理物联网（IoT）设备产生的大量数据而设计。它由Apache软件基金会孵化，旨在提供高效、可靠的数据存储和查询解决方案。IoTDB的核心优势在于其对时间序列数据的优化处理，使其成为物联网数据管理的理想选择。IoTDB的核心特点高性能: IoTDB针对时间序列数据的存储和查询进行了专门的优化，能够实现高速数据写入和实时查询，满足物联网应用对数据处理速度的严格要求。易用性。
IoTDB 入门教程 企业篇①——IoTDB企业版(TimechoDB)快速上手
最新发布
小康师兄
08-02 3470
IoTDB 入门教程 企业篇①——IoTDB企业版(TimechoDB)快速上手
【apache iotDB】Apache IoTDB linux安装教程10分钟学会
赖德发的博客
03-05 1093
Apache IoTDB 采用轻量式架构，具有高性能和丰富的功能，并与Apache Hadoop、Spark和Flink等进行了深度集成，可以满足工业物联网领域的海量数据存储、高速数据读取和复杂数据分析需求。选择相应的版本，下载对应的驱动，如下，下载后缀 jar-with-dependencies.jar 的包。新建连接数据库，搜索 iotdb,输入 账号密码，即可连接。填写 库信息，添加驱动文件进来，点击找到类，确定。5、安装成功，出现以下信息，说明安装成功。3、上传到服务器相应的目录，解压即可。
IoTDB时序数据库入门教程（Win10）
笨鸟贤妃的博客
11-23 3398
文章目录前言一、IoTDB是什么？二、使用步骤1.环境要求2.下载安装3.启动服务4.使用Cli工具操作IoTDB总结 前言 IoTDB时序数据库，小白无痛入门手册。 提示：以下是本篇文章正文内容 一、IoTDB是什么？ IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 二、使用步骤 1.环境要求 安装前需要保证设备上配有JDK>=1.8
iotdb安装使用手册
08-14
iotdb安装使用手册，里面介绍了iotdb的安装和使用，有iotdb的使用示例；以及iotdb和grafana的使用。
时序数据库IoTDB：功能详解与行业应用
qin_DB的博客
03-26 2601
一文读懂时序数据库 IoTDB。01为什么需要时序数据库解释时序数据库前，先了解一下何谓时序数据。时序数据，也称为时间序列数据，是指按时间顺序记录的同一统计指标的数据集合。这类数据的来源主要是能源、工程、交通等工业物联网强关联行业的机器设备和传感器，如汽车的车速、发动机转速，发电风车的功率、电压、电流等。时序数据的典型特征包括：• 测点多：在工业领域，设备数量可达百万级别，数据测点可达亿...
IoTDB 入门教程——导读
小康师兄
04-30 4066
IoTDB 入门教程——导读
时序数据库及 IoTDB 介绍 | 小白教程文档（一）
qin_DB的博客
10-15 3416
1数据库、数据库管理系统以及数据库系统数据如同空气一样普遍，我们在手机的每一次点击都会产生数据，都可能被记录，被使用。数据存放在数据库中，数据库其实就是“数据的集合”。一个个数据库，就像一个个容器，怎么对这些容器进行管理，例如安全存放数据，增删查改数据，这就是数据库管理系统要做的事。听起来这已经是满足用户需求的最终产品形态了，但其实这并不是给终端用户使用的，而是给软件开发者使用的，软件开发者需要用...
IOTDB快速入门（一）
weixin_44236868的博客
03-18 1万+
IOTDB快速入门（一） 本文将介绍关于IoTDB使用的基本流程，如果需要更多信息，请浏览我们官网的指引。 安装环境 安装前需要保证设备上配有JDK>=1.8的运行环境，并配置好JAVA_HOME环境变量。 启动ITOTDB Linux系统与MacOS系统启动命令如下： > sbin/start-server.sh Windows系统启动命令如下： > sbin\start...
iotdb数据库
08-14
iotdb是时间序列数据管理数据库，安装简单，亲测有效，如有不会，可以在下方留言
ESP32-C3入门教程 基础篇①——基于VS Code构建Hello World
小康师兄
09-14 5919
文章目录一、构建项目二、配置项目三、选择目标芯片四、快速运行 一、构建项目 按下F1 输入ESP-IDF: Show Examples Projects 选择Use current ESP-IDF (/path/to/esp-idf) 选择get-started—>hello_world，Create project using example blink 选择一个文件夹，即可 二、配置项目 点击左下角的设置按钮 三、选择目标芯片 按下F1 输入ESP-IDF: Set Espress
ESP32-C3入门教程——导读
热门推荐
小康师兄
09-13 5万+
一、环境篇 ESP32-C3入门教程 环境篇①——简单介绍与软硬件准备 ESP32-C3入门教程 环境篇②——Windows开发环境准备 ESP32-C3入门教程 环境篇③——VS Code IDE快速入门 二、基础篇 ESP32-C3入门教程 基础篇①——GPIO口控制 ESP32-C3入门教程 基础篇②——PWM控制 ESP32-C3入门教程 基础篇③——ADC输入 ESP32-C3入门教程 基础篇④——串口通信 ESP32-C3入门教程 基础篇⑤——SPI通信 ESP32-C3入门教程 基础篇⑥——I
泰凌微8258入门教程 环境篇①——SDK、工具和文档下载
小康师兄
03-27 8066
泰凌微8258入门教程 环境篇①——SDK、工具和文档下载
泰凌微8258入门教程 基础篇⑬——群组（订阅）增删流程
小康师兄
05-26 1474
泰凌微8258入门教程 基础篇 ⑬——群组（订阅）增删流程
EMQX 入门教程 基础篇②——EMQX 消息存储到数据库的四种方法
小康师兄
09-30 8261
EMQ-X 消息存储到数据库 使用EMQ-X 如何实现将设备上报上来的消息存储到数据库呢，方法很多，如下 EMQ-X Enterprise 购买EMQ-X企业版，有钱就用最省力的办法。 数据存储设计 • EMQ X 使用文档 MQTT客户端订阅消息再转存数据库 方法： 后台开个超级权限的MQTT客户端 订阅所需的主题 将接收到的消息存储到数据库 弊端： 这个方法是最简单的，目前在很多开源的物联网项目中看到这么应用，但是他的弊端也很明显。 设备数越多，订阅数越多，进来的消息也越多 只有一个Socket
IoTDB基础 初识IoTDB 安装及基本使用（个人学习记录）
weixin_44665047的博客
02-09 3236
参考博客 时序数据库IoTDB安装及基本使用https://blog.csdn.net/zjy660358/article/details/110871833 关键字 时序(时间序列)数据库，大数据，实时; 下载安装 1，下载安装包后解压； 2，运行需要java 环境，需配置 JAVA_HOME 环境变量； 启动 启动start-server.sh（服务），启动start-cli.sh (客户端：sbin/start-cli.sh -h 127.0.0.1 -p 6667 -u root -pw root)
Apache IoTDB 系列教程-1：数据模型
乔的博客
05-31 1623
大家周末快乐！随着最近项目落地，0.10.0 即将发布，准备写一系列教程，今天第一篇，介绍 IoTDB 的数据模型和建模方式。正文 2855 字，预计阅读时间 8 分钟。什么是时序数据？...
使用java实现从MQTT读取数据并保存到iotdb时序数据库
03-27
以下是Java代码实现从MQTT读取数据并保存到iotdb时序数据库的示例： 1. 引入相关库文件 ``` <dependency> <groupId>org.eclipse.paho</groupId> <artifactId>org.eclipse.paho.client.mqttv3</artifactId> <version>1.2.5</version> </dependency> <dependency> <groupId>org.apache.iotdb</groupId> <artifactId>iotdb-jdbc</artifactId> <version>0.10.0</version> </dependency> ``` 2. 连接MQTT服务器 ``` String brokerUrl = "tcp://localhost:1883"; //MQTT服务器地址 String clientId = "iotdb"; //客户端ID MemoryPersistence persistence = new MemoryPersistence(); MqttClient mqttClient = new MqttClient(brokerUrl, clientId, persistence); mqttClient.connect(); ``` 3. 订阅MQTT主题 ``` String topic = "my/topic"; //订阅的主题 int qos = 1; //消息质量 mqttClient.subscribe(topic, qos); ``` 4. 接收MQTT消息并保存到iotdb时序数据库 ``` String iotdbUrl = "jdbc:iotdb://localhost:6667/"; //iotdb数据库地址 String iotdbUsername = "root"; //iotdb数据库用户名 String iotdbPassword = "root"; //iotdb数据库密码 String iotdbStorageGroup = "root.my"; //iotdb存储组 String iotdbMeasurement = "sensor1"; //iotdb测点名称 String iotdbDataType = "DOUBLE"; //iotdb数据类型 String iotdbEncoding = "PLAIN"; //iotdb编码方式 String iotdbTimeseries = iotdbStorageGroup + "." + iotdbMeasurement; //iotdb时序列名 Class.forName("org.apache.iotdb.jdbc.IoTDBDriver"); Connection connection = DriverManager.getConnection(iotdbUrl, iotdbUsername, iotdbPassword); Statement statement = connection.createStatement(); mqttClient.setCallback(new MqttCallback() { @Override public void connectionLost(Throwable throwable) { System.out.println("MQTT连接断开"); } @Override public void messageArrived(String topic, MqttMessage mqttMessage) { String message = new String(mqttMessage.getPayload()); System.out.println("收到MQTT消息：" + message); try { String sql = String.format("insert into %s(time,%s) values(%d,%s)", iotdbTimeseries, iotdbDataType, iotdbEncoding, System.currentTimeMillis(), message); statement.execute(sql); System.out.println("保存到iotdb成功"); } catch (SQLException e) { System.out.println("保存到iotdb失败：" + e.getMessage()); } } @Override public void deliveryComplete(IMqttDeliveryToken iMqttDeliveryToken) { } }); ``` 5. 断开MQTT连接 ``` mqttClient.disconnect(); ``` 完整代码示例： ``` import org.eclipse.paho.client.mqttv3.*; import org.eclipse.paho.client.mqttv3.persist.MemoryPersistence; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement; public class MqttToIotdb { public static void main(String[] args) throws MqttException, ClassNotFoundException, SQLException { String brokerUrl = "tcp://localhost:1883"; //MQTT服务器地址 String clientId = "iotdb"; //客户端ID MemoryPersistence persistence = new MemoryPersistence(); MqttClient mqttClient = new MqttClient(brokerUrl, clientId, persistence); mqttClient.connect(); String topic = "my/topic"; //订阅的主题 int qos = 1; //消息质量 mqttClient.subscribe(topic, qos); String iotdbUrl = "jdbc:iotdb://localhost:6667/"; //iotdb数据库地址 String iotdbUsername = "root"; //iotdb数据库用户名 String iotdbPassword = "root"; //iotdb数据库密码 String iotdbStorageGroup = "root.my"; //iotdb存储组 String iotdbMeasurement = "sensor1"; //iotdb测点名称 String iotdbDataType = "DOUBLE"; //iotdb数据类型 String iotdbEncoding = "PLAIN"; //iotdb编码方式 String iotdbTimeseries = iotdbStorageGroup + "." + iotdbMeasurement; //iotdb时序列名 Class.forName("org.apache.iotdb.jdbc.IoTDBDriver"); Connection connection = DriverManager.getConnection(iotdbUrl, iotdbUsername, iotdbPassword); Statement statement = connection.createStatement(); mqttClient.setCallback(new MqttCallback() { @Override public void connectionLost(Throwable throwable) { System.out.println("MQTT连接断开"); } @Override public void messageArrived(String topic, MqttMessage mqttMessage) { String message = new String(mqttMessage.getPayload()); System.out.println("收到MQTT消息：" + message); try { String sql = String.format("insert into %s(time,%s) values(%d,%s)", iotdbTimeseries, iotdbDataType, iotdbEncoding, System.currentTimeMillis(), message); statement.execute(sql); System.out.println("保存到iotdb成功"); } catch (SQLException e) { System.out.println("保存到iotdb失败：" + e.getMessage()); } } @Override public void deliveryComplete(IMqttDeliveryToken iMqttDeliveryToken) { } }); //等待MQTT消息 while (true) { } //断开MQTT连接 //mqttClient.disconnect(); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小康师兄

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值