TDengine使用文档

已于 2023-02-28 10:37:44 修改
阅读量136 收藏
点赞数
文章标签： tdengine 大数据 时序数据库
于 2023-02-27 13:41:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/henry19971211/article/details/129237601
版权
该文档介绍了TDengine数据库的数据模型，包括采集量、标签、数据采集点、超级表和子表的概念。还详细阐述了Docker的安装步骤以及如何通过超级表创建子表。此外，提供了开发指南，包括连接数据库、数据建模、写入数据的方法，并给出了Java开发中的代码示例。
摘要由CSDN通过智能技术生成

TDengine使用文档

版本号时间更新内容作者
1.02023.02.27初次提交韩立楠

官网地址

数据模型和基本概念

采集量

采集量是指传感器、设备或其他类型采集点采集的物理量，比如电流、电压、温度、压力、GPS 位置等，是随时间变化的（硬件设备采集的参数和数据）

标签

标签是指传感器、设备或其他类型采集点的静态属性，不是随时间变化的，比如设备型号、颜色、设备的所在地等

数据采集点

数据采集点是指按照预设时间周期或受事件触发采集物理量的硬件或软件。一个数据采集点可以采集一个或多个采集量，但这些采集量都是同一时刻采集的，具有相同的时间戳。（硬件设备）

超级表

超级表用来代表一组相同类型的数据采集点集合（一种产品一张超级表，超级表有tag列）

子表

通过超级表创建的表称之为子表（一个设备一张子表，子表没有tag列）

超级表和子表的关系

  1. 一张超级表包含有多张子表，这些子表具有相同的采集量 Schema，但带有不同的标签值。
  2. 不能通过子表调整数据或标签的模式，对于超级表的数据模式修改立即对所有的子表生效。
  3. 超级表只定义一个模板，自身不存储任何数据或标签信息。因此，不能向一个超级表写入数据，只能将数据写入子表中。
  4. 查询既可以在子表上进行，也可以在超级表上进行。

docker安装步骤

拉取镜像（最新镜像为3.0版本）

docker pull tdengine/tdengine:latest

运行容器

docker run -d -p 6030:6030 -p 6041:6041 -p 6043-6049:6043-6049 -p 6043-6049:6043-6049/udp tdengine/tdengine

注：

  1. 默认用户名密码 root taosdata

  2. TDengine 3.0 服务端仅使用 6030 TCP 端口。6041 为 taosAdapter 所使用提供 REST 服务端口。6043-6049 为 taosAdapter 提供第三方应用接入所使用端口，可根据需要选择是否打开。

开发指南

建立连接

  1. 如果选择原生连接，而且应用程序不在 TDengine 同一台服务器上运行，你需要先安装客户端驱动，否则可以跳过此一步。为避免客户端驱动和服务端不兼容，请使用一致的版本。

  2. 在 cmd 下进入到 C:\TDengine 目录下直接执行 taos.exe，连接到 TDengine 服务，进入到 TDengine CLI 界面。执行 show databases; 看到 Query OK 即安装成功。

数据建模

创建数据库
CREATE DATABASE power KEEP 365 DURATION 10 BUFFER 16 WAL_LEVEL 1;

USE power;

注： 上述语句将创建一个名为 power 的库，这个库的数据将保留 365 天（超过 365 天将被自动删除），每 10 天一个数据文件，每个 VNode 的写入内存池的大小为 16 MB，对该数据库入会写 WAL 但不执行 FSYNC。（详细语法参见官网）

创建超级表
CREATE STABLE meters (ts timestamp, current float, voltage int, phase float) TAGS (location binary(64), groupId int);

注： 第一列必须为时间戳（示例中为 ts），其他列为采集的物理量（示例中为 current, voltage, phase）。除此之外，还需要提供标签的 Schema （示例中为 location, groupId）

创建子表
CREATE TABLE d1001 USING meters TAGS ("California.SanFrancisco", 2);

注： 创建时，需要使用超级表做模板，同时指定标签的具体值。

自动建表
INSERT INTO d1001 USING meters TAGS ("California.SanFrancisco", 2) VALUES (NOW, 10.2, 219, 0.32);

写入数据

一次写入一条
INSERT INTO d1001 VALUES (ts1, 10.3, 219, 0.31);
一次写入多条
INSERT INTO d1001 VALUES (ts1, 10.2, 220, 0.23) (ts2, 10.3, 218, 0.25);
一次写入多表
INSERT INTO d1001 VALUES (ts1, 10.3, 219, 0.31) (ts2, 12.6, 218, 0.33) d1002 VALUES (ts3, 12.3, 221, 0.31);

代码示例

pom依赖
		<dependency>
            <groupId>com.taosdata.jdbc</groupId>
            <artifactId>taos-jdbcdriver</artifactId>
            <version>3.0.4</version>
        </dependency>
创建超级表
service层
public void createSuperTable() {
        List<FieldsVo> schemaFields = new ArrayList<>();
        FieldsVo ts = new FieldsVo();
        ts.setFieldName("ts");
        ts.setDataType(DataTypeEnum.TIMESTAMP.getDataType());
        FieldsVo payload = new FieldsVo();
        payload.setFieldName("payload");
        payload.setDataType(DataTypeEnum.NCHAR.getDataType());
        payload.setSize(2000);
        FieldsVo topic = new FieldsVo();
        topic.setFieldName("tp");
        topic.setDataType(DataTypeEnum.NCHAR.getDataType());
        topic.setSize(500);
        FieldsVo func = new FieldsVo();
        func.setFieldName("func");
        func.setDataType(DataTypeEnum.NCHAR.getDataType());
        func.setSize(100);
        FieldsVo channel = new FieldsVo();
        channel.setFieldName("channel");
        channel.setDataType(DataTypeEnum.NCHAR.getDataType());
        channel.setSize(100);
        schemaFields.add(ts);
        schemaFields.add(payload);
        schemaFields.add(topic);
        schemaFields.add(func);
        schemaFields.add(channel);
        List<FieldsVo> tagsFields = new ArrayList<>();
        FieldsVo tag1 = new FieldsVo();
        tag1.setFieldName("channel_code");
        tag1.setDataType(DataTypeEnum.NCHAR.getDataType());
        tag1.setSize(100);
        FieldsVo tag2 = new FieldsVo();
        tag2.setFieldName("product_code");
        tag2.setDataType(DataTypeEnum.NCHAR.getDataType());
        tag2.setSize(100);
        FieldsVo tag3 = new FieldsVo();
        tag3.setFieldName("client_id");
        tag3.setDataType(DataTypeEnum.NCHAR.getDataType());
        tag3.setSize(100);

        tagsFields.add(tag1);
        tagsFields.add(tag2);
        tagsFields.add(tag3);
        tdEngineMapper.createSuperTable(schemaFields,tagsFields,DATABASE_NAME_PREFIX+active,SUPER_TABLE_NAME);
    }
mapper层
void createSuperTable(@Param("schemaFields") List<FieldsVo> schemaFields,
                          @Param("tagsFields") List<FieldsVo> tagsFields,
                          @Param("dataBaseName") String dataBaseName,
                          @Param("superTableName") String superTableName);
xml文件

注：${}用于替换数据库名称、表名、字段名 (#{}前后会有单引号，所以不能用#{}),
#{}用于替换字段值

<update id="createSuperTable">
        create stable if not exists ${dataBaseName}.${superTableName}
        <foreach item="item" collection="schemaFields" separator=","
                 open="(" close=")" index="">
            <if test="item.fieldName != null || item.fieldName != ''">
                ${item.fieldName}
            </if>
            <if test="item.dataType != null || item.dataType != ''">
                <choose>
                    <when test="item.dataType == 'timestamp'">
                        timestamp
                    </when>
                    <when test="item.dataType == 'tinyint'">
                        tinyint
                    </when>
                    <when test="item.dataType == 'smallint'">
                        smallint
                    </when>
                    <when test="item.dataType == 'int'">
                        int
                    </when>
                    <when test="item.dataType == 'bigint'">
                        bigint
                    </when>
                    <when test="item.dataType == 'float'">
                        float
                    </when>
                    <when test="item.dataType == 'double'">
                        double
                    </when>
                    <when test="item.dataType == 'binary'">
                        binary
                    </when>
                    <when test="item.dataType == 'nchar'">
                        nchar
                    </when>
                    <when test="item.dataType == 'bool'">
                        bool
                    </when>
                    <when test="item.dataType == 'json'">
                        json
                    </when>
                </choose>
            </if>
            <if test="item.size != null">
                (${item.size})
            </if>
        </foreach>
        tags
        <!--tdEngine不支持动态tags里的数据类型，只能使用choose标签比对-->
        <foreach item="item" collection="tagsFields" separator=","
                 open="(" close=")" index="">
            <if test="item.fieldName != null || item.fieldName != ''">
                ${item.fieldName}
            </if>
            <if test="item.dataType != null || item.dataType != ''">
                <choose>
                    <when test="item.dataType == 'timestamp'">
                        timestamp
                    </when>
                    <when test="item.dataType == 'tinyint'">
                        tinyint
                    </when>
                    <when test="item.dataType == 'smallint'">
                        smallint
                    </when>
                    <when test="item.dataType == 'int'">
                        int
                    </when>
                    <when test="item.dataType == 'bigint'">
                        bigint
                    </when>
                    <when test="item.dataType == 'float'">
                        float
                    </when>
                    <when test="item.dataType == 'double'">
                        double
                    </when>
                    <when test="item.dataType == 'binary'">
                        binary
                    </when>
                    <when test="item.dataType == 'nchar'">
                        nchar
                    </when>
                    <when test="item.dataType == 'bool'">
                        bool
                    </when>
                    <when test="item.dataType == 'json'">
                        json
                    </when>
                </choose>
            </if>
            <if test="item.size != null">
                (${item.size})
            </if>
        </foreach>
    </update>
创建子表

注：因为自动建表的sql存在，所以不需要提前创建子表

自动建表

注：新增数据也用自动建表的语句，减去了新增前判断子表是否存在的麻烦

service层
public void insertData(String channelCode, String productCode,String clientId, String payload, String topic,String func,String channel) {
        TableDto tableData = new TableDto();

        List<Fields> schemas = new ArrayList<>();
        // ts
        Fields schema1 = new Fields();
        schema1.setFieldName("ts");
        schema1.setFieldValue(TimestampUtils.now());
        schemas.add(schema1);
        // payload
        Fields schema2 = new Fields();
        schema2.setFieldName("payload");
        schema2.setFieldValue(payload);
        schemas.add(schema2);
        // tp
        Fields schema3 = new Fields();
        schema3.setFieldName("tp");
        schema3.setFieldValue(topic);
        schemas.add(schema3);
        // func
        Fields funcF = new Fields();
        funcF.setFieldName("func");
        funcF.setFieldValue(func);
        schemas.add(funcF);
        // channel
        Fields schema4 = new Fields();
        schema4.setFieldName("channel");
        schema4.setFieldValue(channel);
        schemas.add(schema4);
        tableData.setSchemaFieldValues(schemas);

        List<Fields> tags = new ArrayList<>();
        Fields tag1 = new Fields();
        tag1.setFieldValue(channelCode);
        Fields tag2 = new Fields();
        tag2.setFieldValue(productCode);
        Fields tag3 = new Fields();
        tag3.setFieldValue(clientId);
        tags.add(tag1);
        tags.add(tag2);
        tags.add(tag3);
        tableData.setTagsFieldValues(tags);

        tableData.setTableName(StrUtil.format(TABLE_NAME_PREFIX,channelCode,productCode,clientId));
        tableData.setDataBaseName(DATABASE_NAME_PREFIX+active);
        tableData.setSuperTableName(SUPER_TABLE_NAME);

        tdEngineMapper.insertData(tableData);
    }
mapper层
void insertData(TableDto tableDto);
xml文件
<insert id="insertData">
        insert into ${dataBaseName}.${tableName}
        <foreach item="item" collection="schemaFieldValues" separator=","
                 open="(" close=")" index="">
            ${item.fieldName}
        </foreach>
        using ${dataBaseName}.${superTableName}
        tags
        <foreach item="item" collection="tagsFieldValues" separator=","
                 open="(" close=")" index="">
            #{item.fieldValue}
        </foreach>
        values
        <foreach item="item" collection="schemaFieldValues" separator=","
                 open="(" close=")" index="">
            #{item.fieldValue}
        </foreach>
    </insert>
henry19971211
关注
TDengine使用整理
ysw的博客
11-26 8781
操作整理： 数据库操作: #创建一个数据库test CREATE DATABASE test; #创建库时候的参数(非必选) Keep:数据保留时间。超过此时间后自动删除过期的数据,缺省时默认3650天(十年) EG: CREATE DATABASE test keep 730; days: 数据落成文件的时间范围。days 10 表示每十天的数据为一个数据文件，此范围官方推荐为10-100。 EG: CREATE DATABASE test keep 730 d...
【翻译】TDengine用户文档翻译
萝卜吃鱼914的博客
07-22 1453
前言 TDengine是最近比较轰动的项目，官方主打的方向是物联网大数据，口号是比hadoop快十倍，因为是国人开源的物联网大数据平台，刚好自己也在找hadoop的替代品，所以打算研究一下TDengine，于是特意翻译了TDengine的githup文档，如果有不妥的地方欢迎指正。 文档 TDengine是一个存储，查询和分析时序数据高可用的平台，他的工作模式有点像关系型数据库，但强烈建议您在体验...
TDengine安装使用文档
qq_46129710的博客
04-30 895
例如：TDengine-client-3.0.7.1-Windows-x64.exe：数据库连接工具TDengine-server-3.0.7.1-Windows-x64.exe： 数据库主安装文件创建TDengine文件夹，在TDengine文件夹下创建log文件夹和data文件夹一直回车即可打开C:\TDengine\cfg下的taos.cfg将C:\Windows\System32\drivers\etc中hosts文件的只读去掉，然后打开hosts，在最后加上电脑的本地IP。
TDengine小测试文档记录
qq_32403473的博客
12-01 442
超过七分钟，未继续等待结果。
TDengine安装使用
11-25 2001
本文将会围绕TGengine进行简单的介绍，当然我也是初次使用，这份文档也只是初步的学习记录，如果有朋友在实际中使用了TGengine并且觉得这篇文章有什么问题，还请在下方留言，我会根据实际情况对文章进行修改，这样也是为了防止给别人留坑对TGengine做下简单介绍、安装TGengine服务端的过程、TDengine 数据建模、DataGrip如何查看数据使用、java语言进行REST连接测试
TDengine 知识点 看官方文档主要特点收集 小白笔记
码灵的博客
09-24 1950
TDengine主要特点 官方文档https://www.taosdata.com/cn/documentation/ 1数据模型和设计 1物联网典型场景 在典型的物联网、车联网、运维监测场景中，往往有多种不同类型的数据采集设备，采集一个到多个不同的物理量。而同一种采集设备类型，往往又有多个具体的采集设备分布在不同的地点。大数据处理系统就是要将各种采集的数据汇总，然后进行计算和分析。 对于同一类设备，每一条记录都有设备ID，时间戳，采集的物理量，还有与每个设备相...
TDengine使用（一）——TDengine下载与安装
lime2019的博客
12-31 2838
下面部分转载自涛思数据：数据模型和整体架构 数据模型 物联网数据特征 物联网、车联网、运维监测类数据特征： 采集的数据点是时序的，是一个数据流； 数据高度结构化； 数据极少有更新或删除操作； 无需传统数据库的事务处理； 相对互联网应用，写多读少； 流量平稳，根据设备数量和采集频次，可以预测出来； 用户关注的是一段时间的趋势，而不是某一特定时间点的值； 数据有保留期限； 数据的查询分析一定是基于时间段和空间区域； 除存储、查询操作外，还需要各种统计和实时计算操作； 数据量巨大，一天可能采集的数据就可以超过1
windows10-tdengine的安装及使用
weixin_44462773的博客
12-17 3943
windows10系统中tdengine使用环境安装及配置详细教程
springboot集成Tdengine
11-15
你可以从官方下载页面获取最新版本的TDengine，并按照官方文档进行安装。安装完成后，启动TDengine服务，创建一个数据库实例，并配置相应的端口和用户名、密码。 2. 添加依赖 在SpringBoot项目中集成TDengine，需要...
【物联网】深入解析时序数据库TDengine及其Java应用实践
一个不断前行的程序者
09-13 993
时序数据库（Time-Series Database，TSDB）是一种专门为处理时间序列数据而设计的数据库。时间序列数据是指按时间顺序排列的数据，通常用于记录和监测系统、设备、传感器等在一段时间内的运行状态和性能指标。高效的数据存储：针对时间序列数据的特性进行优化，实现高效的数据压缩和存储。快速的数据查询：提供高效的时间范围查询、聚合计算等操作。简化的数据模型：通常包含时间戳、度量值和标签，易于理解和操作。高并发的写入能力：支持大量数据点的快速写入。
TDengine 首席架构师肖波演讲整理：探索新型电力系统的五大关键场景与挑战
涛思数据
09-12 1454
在 7 月 26 日的 TDengine 用户大会上，涛思数据（TDengine）首席架构师肖波进行了题为《TDengine 助力新型电力系统高质量发展》的主题演讲。他不仅分享了 TDengine 在新型电力系统中的应用案例，还深入探讨了如何利用 TDengine 的高性能数据处理能力，推动电力行业的数字化转型与智能化升级。本文根据演讲内容整理而成。 什么是新型电力系统？ 在今天的讨论中，我想先分享一些个人的理解，特别是关于新型电力系统的相关内容。回顾几十年前，国内的电力系统仍然处于计划经济时代，主要是
TDengine在设备管理系统中应用
Baker的博客
09-12 1028
TDengie的性能非常强悍，而且不像redis那样是非结构化的数据，TDengine是结构化数据，且支持标准的SQL语句进行插入和查询操作，另外TDengine自带时间戳非常适合设备类的数据采集场景，读写能力非常快，达到千万级，虽然修改能力差，但是刚好设备采集的场景本就不会用到修改的操作。因此引入TDengine作为数据采集的数据库就非常恰到好处了。
【四】k8s部署 TDengine集群
最新发布
作者：大头兵（kit）
09-14 1181
一、在 Kubernetes 上部署 TDengine 集群k8s部署 TDengine集群一、在 Kubernetes 上部署 TDengine 集群本文适用 Kubernetes v1.19 以上版本为了满足高可用的需求，集群需要满足如下要求：3个及以上 dnode ：TDengine 的同一个 vgroup 中的多个 vnode ，不允许同时分布在一个 dnode ，所以如果创建3副本的数据库，则 dnode 数大于等于3。
TDengine 与 SCADA 强强联合：提升工业数据管理的效率与精准
涛思数据
09-14 1197
SCADA 英⽂全拼为"Supervisory Control And Data Acquisition", 即数据采集与监视控制系统。SCADA 位于 IEC 62264-1 传统五层模型中 L2 层过程监控层，相对来讲，更加侧重集中监视，通常对现场 设备、PLC、DCS 等数据采集，集中监视以及控制。同时，作为⼯控中流砥柱，为上层⽣产管理层，包含 mes\mom 系统以及企业资源层，如 ERP 系统，提供完整的⽣产数据，包含实时、历史、报警数据， 以及相应的统计数据等，是⼯业控制系统的坚实底座。
【三】TDengine 3.3.2 生产级别集群搭建
作者：大头兵（kit）
09-13 978
TDengine 3.3.2 集群搭建
TDengine 与飞腾腾锐 D2000 完成兼容互认证，推动国产软硬件深度融合
涛思数据
09-14 490
在国家信息安全和自主可控技术日益受到重视的背景下，国产软硬件的发展已成为推动数字经济的重要力量。随着全球科技竞争加剧，企业在选择技术解决方案时，越来越倾向于采用国产产品以降低对外部技术的依赖。这一趋势不仅是为了确保数据安全与隐私，更是为了促进国内技术生态的完善与发展。然而，国产软件在与硬件的兼容性和性能优化上仍面临诸多挑战，这对整个行业的创新与应用提出了更高的要求。在这一行业挑战的背景下，涛思数据科技有限公司与飞腾信息技术有限公司成功完成兼容互认证。
tdengine怎么使用
04-11
TDengine 是一个开源的智能数据平台，可以满足各种数据分析和实时应用的需求。 如果要使用 TDengine，您可以按照如下步骤...以上是 TDengine 的简单使用方法，更多详细信息和使用教程，您可以参考 TDengine 官方文档。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值