TDengine调研报告

简述

环境：3台服务器搭建Tengine集群

创建表rawdata

子表：

写入速度

测试1： replica备份为1， 写入1分钟，大概70万条每秒的数据量

测试2： replica备份为3，写入1分钟，大概70万条每秒的数据量

测试3：写入16个小时，计算有180亿的数据量，最后得出平均每秒大概30万的数据量

测试4： 写入17个小时后， 断开写入的java进程，重新编写开始时间，重启java进程， 测试1分钟的写入速度

（20683400 -20638700）* 900 / 60 = 670500

持续1分钟，平均一秒写入速度在67万的数据量
注释：TDengine 集群环境未重启

查询速度

190万条数据， 查询速度在10ms

使用java代码查询TDengine，并打印， 其查询的时间大概10ms

cpu 和内存使用情况

测试1： 持续写入1小时
每台机器 2个cpu 900M内存


测试2： 持续写入16小时
每台机器 2个cpu 4G内存

磁盘存储情况

写入16个小时，900个sensor共大约170亿的数据量， 每个服务器磁盘使用大概11个G

一个sensor的数据量：

磁盘使用情况：

发现存在的问题

1： 子表只包三个value字段, 都是int 或者float类型字段， 写入平均1秒在60万的数据量
2： 子表只包9个value字段, 都是int 或者float类型字段， 每秒平均的写入速度在14万数据量
3： 子表包含写入字符串字段， 平均每秒写入速度在10万数据量

支持重写功能
开始测试时候默认是不支持重写功能的：

后面调研问客服， 说支持重写需要修改配置，我重新看了一下
修改配置如下：

创建子表表
create table if not exists sensor1 (ts timestamp, current float, runId int, alarmLevel int) tags(tool binary(12), senor binary(12));
重写如下:

创建43万张子表， 很耗内存

耗时5分钟
资源使用情况
测试1： 持续10分钟
每台服务器使用2个cpu 和 9个G 的内存


测试2： 持续1小时写入
每台服务器使用2个cpu 和 9个G 的内存


测试3： 停止数据写入, 6个小时后
每台服务器使用1.9%个cpu 和 9个G 的内存