信创那些事儿——国产信创数据库 TDengine 数据同步

最新推荐文章于 2024-09-15 17:12:39 发布

北欧人写代码

最新推荐文章于 2024-09-15 17:12:39 发布

阅读量1.7k

点赞数 22

文章标签：数据库 tdengine 大数据

本文链接：https://blog.csdn.net/qq_33257158/article/details/141526165

版权

TDengine 是一款专为物联网、工业互联网等场景设计并优化的大数据平台，它能安全高效地将大量设备、数据采集器每天产生的高达 TB 甚至 PB 级的数据进行汇聚、存储、分析和分发，对业务运行状态进行实时监测、预警，提供实时的商业洞察。其核心模块是高性能、集群开源、云原生、极简的时序数据库 TDengine OSS。

此外，作为 2024 年 8 月墨天轮中国数据库流行度排行榜上的时序数据库 Top1，TDengine 广泛适用于 IoT、工业互联网、车联网、IT 运维、能源、金融证券等领域场景。截至目前，已在 GitHub 上获得 23.1k Star，曾多次在 GitHub 全球趋势排行榜上排名第一，全球运行的 TDengine 实例数超过 588.4k，用户遍布全球。

一、TDengine 数据迁移与同步方案

更多详情，参见《TDengine 产品文档》：https://docs.taosdata.com/

关于 TDengine 的迁移和同步，有多种适用的方案和工具可供选择，其中比较常见的包括手动方案，以及基于 DataX 或是 TapData 这一类数据同步工具的现代化数据解决方案。

手动迁移与同步

手动迁移与同步是最基本的方案，通常适用于小规模数据迁移或一次性数据迁移任务。该方法涉及从源数据库导出数据，通过脚本或工具将数据转换为 TDengine 兼容的格式，最后将数据导入 TDengine。尽管手动方案可以完全控制迁移过程，但其操作也相对复杂，容易出现错误，且不适合大规模数据迁移或需要频繁同步的场景。
手动迁移数据需要注意以下两个问题：

1）在磁盘中存储导出数据时，磁盘需要有足够的存储空间以便能够充分容纳导出的数据文件。为了避免全量数据导出后导致磁盘文件存储紧张，可以采用部分导入的模式，对于归属于同一个超级表的时间线优先导出，然后将导出部分的数据文件导入到 TDengine 系统中。

2）在系统全负载运行下，如果有足够的剩余计算和 IO 资源，可以建立多线程的导入机制，最大限度地提升数据迁移的效率。考虑到数据解析对于 CPU 带来的巨大负载，需要控制最大的并行任务数量，以避免因导入历史数据而触发的系统整体过载。

基于数据同步工具的解决方案

DataX

DataX 是阿里云 DataWorks 数据集成的开源版本，支持多种数据源与目标之间的数据迁移与同步。通过配置 DataX，可以实现从关系型数据库、Hadoop、NoSQL 等多种数据源向 TDengine 的数据同步。DataX 提供了简洁的 JSON 配置方式，用户只需定义源数据、目标数据和转换逻辑即可。DataX 适合需要频繁同步且数据量较大的场景，但对实时性要求较高的场景支持有限。

除此之外，为了方便历史数据的迁移工作，TDengine 为 DataX 提供了适配 TDengine 3.0 的插件—— TDengine30Reader 和 TDengine30Writer，能够将数据自动写入到 TDengine 中，需要注意的是 DataX 的自动化数据迁移只能够支持单值模型的数据迁移过程。目前可以做到 OpenTSDB、MySQL、TDengine(Time Series DataBase,TSDB) 等不同数据源之间的数据迁移。

TDengine30Reader 提供的功能：

1、支持通过 SQL 进行数据筛选；

2、根据时间间隔进行任务切分；

3、支持 TDengine 的全部数据类型；

4、支持批量读取，通过 batchSize 参数控制批量拉取结果集的大小，提高读取性能。

TDengine30Writer 支持的功能：

1、支持 OpenTSDB 的 json 格式的行协议，使用 TDengine 的 schemaless 方式写入 TDengine。

2、支持批量写入，通过 batchSize 参数控制批量写入的数量，提高写入性能。

TapData

TapData 专注于激发实时数据的应用价值，是一款以低延迟数据移动为核心优势构建的现代数据平台型工具，以出色的 CDC（Change Data Capture，变更数据捕获）能力和集中数据中心架构为关键特性，旨在以新颖的方式解决长期存在的数据集成问题。TapData 内置 100+ 数据连接器，支持多种数据源和目标之间的实时数据集成，且具有高度的可扩展性和自动化特性。其可视化配置界面简化了复杂的数据同步流程，适合企业级的实时数据集成需求。

DataX vs Dataworks vs TapData

二、TapData 高效同步教程：以 TDengine → RDS MySQL 为例

更多详情，参见《TapData 帮助文档-连接数据源-自建数据库 TDengine》：

https://docs.tapdata.net/prerequisites/on-prem-databases/tdengine

完成 TapData Agent 部署后，即可跟随以下教程在 TapData 中添加 TDengine 数据连接（支持版本：TDengine 3.x），后续可将其作为源或目标库来构建数据管道。这里我们将以 TDengine 为数据源，RDS MySQL 为数据目标进行模拟演示。（*涉及工具版本为 TapData 本地部署版）

① 前提条件
由于 TapData 采用 REST 方式连接至 TDengine，在配置连接前，您需要在 TDengine 所属服务器上执行 sudo systemctl start taosadapter 命令开启 taosAdapter 服务。

*提示：如希望 TapData 读取 TDengine 的增量数据，您还需要在 Agent 所属服务器上安装 TDengine 客户端驱动。

② 创建 TDengine 的连接
1、进入 TapData 控制台，在左侧导航栏，单击连接管理。

2、单击页面右侧的创建，在弹框中，搜索并选择 TDengine。

3、在跳转到的页面，根据下述说明填写 PolarDB 连接信息：
在这里插入图片描述