DataWorks 离线同步数据至 Kafka 实操

背景

众所周知，DataWorks 是阿里云开源数据同步工具 DataX 的商业版，其功能、客户支持、可视化操作和插件丰富度等方面均优于开源版本。接下来，我们通过一个实际案例来说明它的应用场景。

公司需要将数据从数据仓库同步到线上数据库，以便部署服务。然而，直接将数据同步到线上数据库存在风险，特别是在数据量很大的情况下，会对数据库造成压力。因此，我们决定将数据写入 Kafka。开发人员可以从 Kafka 中读取数据，这样可以避免直接操作线上数据库。此外，Kafka 的削峰填谷、异步通信、高吞吐、高可用和高容错等特性，完全满足线上服务的需求。

step1

首先我们需要先创建一个 Topic ，可以在阿里云控制台中可视化操作，具体如下：


创建好之后，点击 odps2kafka_test 进入 detail page ，可以看到状态、 Group 、消息总量 等状况。

step2

接着在 DataWorks 中创建一个 Di 任务，具体如下：

任务创建之后同步数据即可，同步完成后可以在 topic 详情页中 消息查询 tag 下查询，结果如下：

总结

以上就是完整的操作步骤，相信大家感受到实际操作非常简单便捷，阿里云生态建设的很完善，这极大地减轻了开发压力，有任何疑问欢迎大家在评论区留言，也可以扫描下面的二维码关注本人公众号。