从 OpenTSDB 到 TDengine,至数 IoT 物联网平台技术改造之路

作者:李友龙 至数技术总监

小 T 导读:至数物联网平台场景多、数据模型复杂,伴随着业务需求的不断迭代及数据量的不断上涨,原有的 OpenTSDB+MySQL 的组合逐渐力不从心,局限性日益凸显。在对 TDengine 进行充分了解与调研后,基于 TDengine 对至数摇光进行了彻底性的改造。本文分享了至数结合自身平台特点进行系统架构升级改造的经验,以供参考。

公司简介 & 项目背景

至数(Medatc)是一家致力于打造行业最佳设备资产数据化运营、管理、服务的平台,为客户提供全方位的设备资产管理支撑,其拥有丰富的行业经验,以及在大数据、人工智能、物联网、互联网+领域的创新实践能力。公司成立至今已经获得红杉资本等知名投资机构的战略投资。

至数摇光(即:至数物联网平台)通过动态能量主动标识,动态环境主动标识,智能网关,应用工业互联网时序数据高效采集,边缘计算以及智能算法自动分发等一系列技术,基于医疗设备行业主数据规范,助力医疗机构短周期、低成本、高质量、广覆盖地实现有源设备智慧管理。

    至数摇光具有场景多、

    数据模型复杂的特点

至数摇光是以提效降耗为目标,帮助医疗机构实现有源设备的高效管理,为设备使用效率智能分析、设备科学配置、设备动态调配、设备安全保障提供全方位支撑。目前共推出了 15 项智能场景应用,30 项事件及异常告警提醒。

在上述场景改造前,至数摇光的数据库采用的是 OpenTSDB+MySQL 结合的方式,由于 OpenTSDB 无法满足复杂查询场景,因此 80% 的场景指标只能基于 MySQL 数据库来实现,这样带来的问题就是 MySQL 数据库的数据增长迅速,需要定时做冷热数据分离及数据库表维护动作。

    TDengine 助力摇光实现技术改造

作为一个大而全的数据库,OpenTSDB 稍显笨重,伴随着业务需求的不断迭代及数据量的不断上涨,其局限性日益凸显,系统的架构升级和改造工作日渐迫切。

2021 年我们在对 TDengine 有了充分的了解后,决定将至数摇光从时序数据 OpenTSDB 迁移到 TDengine,并基于 TDengine 的特性对摇光进行彻底性的改造。目前改造工作已经全部完成,改造后有大约 80% 左右的指标模型放到了 TDengine 中,20% 左右的主数据或维表数据存放在 MySQL 数据库中。

相较于改造前的 80% 指标模型存放在 MySQL 中,20% 指标数据存放在 OpenTSDB 数据库中,结果刚好进行了颠倒,服务器资源使用情况也有所下降。应用整体的页面影响速度显著提高,数据模型及数据指标上也可以更加地灵活多变。

以下为至数摇光网络拓扑路图:

5450575c3c64785784674b8c38be8e75.png

以下为改造前后的数据库对比:

c575446420b9136343450598ac39d400.png

以下以 11 万条数据表来做查询,结果如下:

b93c6b5b94b112bf6717d791a806717b.png

聚合查询,1,155,876 条数据在耗时不到 0.17 秒的时间完成 GROUP BY 聚合查询:

2374cc4b0d956d8053a5ed90e4abe9ad.png

写入情况,这里截了一张 Flink 写入 TDengine 数据库图片,3 个小时左右的时间里写入了 250 万条采集数据,这样的写入量远远没有达到 TDengine 的写入瓶颈,对业务的增长留有充裕的空间。

8284be4af4ad371a1d0c285185218aad.png

下面是我们的部分应用展示:

bab04d2e2e399f538fa794a0299f8de2.png

38b00963fe85fd596d38494b130a5630.png

    TDengine 使用上的一些意见反馈

我们有些按小时、按天、按月的指标计算的情况,如果当时的维表数据有误需要重算,重算的数据需要覆盖之前的数据或者把之前的数据删除掉重新写入。不过 TDengine 目前不支持数据删除,希望未来能够支持删除功能。

目前更新只支持更新相同时间戳数据,希望 tag 和普通字段能够联合筛选做 update;也有业务场景需要此类功能。

另外,目前排序还存在一定的限制,希望 tag 和普通字段能够进行自由升降序排列。

最后感谢涛思团队开源出来 TDengine 这款优秀的时序数据库系统,也要感谢一下涛思团队对至数研发团队的支持与帮助,祝福涛思数据越办越好!


最后,赠送16元优惠券,加入国内最大IoT物联网开发者社区,获取1000+行业资料

2e4029d311063e8fd499048080479d4b.png

往期推荐

☞ 中国云计算第一股关停 IoT云服务

☞ 2022年IoT平台趋势:私有化部署

☞ 国内MCU行业发展研究报告

☞ 2021年4G通信模组企业排行

☞ 艾瑞 2021中国 IoT物联网平台研究

☞ 云厂商的[IoT物联网平台]不香了吗?

b09491680644ee805fdbfb9f80a5a783.gif

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值