![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Apache SeaTunnel 实践
文章平均质量分 60
Apache SeaTunnel 数据同步实践笔记
独行者也
学习
展开
-
银河麒麟系统(ARM)Seatunnel (Zeta引擎)集群部署
需要在信创平台(鲲鹏ARM CPU 和 银河麒麟V10操作系统)部署Apache Seatunnel 实时同步kafka数据到 实时数仓 Apache Doris,需要注意的是只需要配置好ARM 版本的JDK即可。原创 2023-10-26 14:19:28 · 544 阅读 · 1 评论 -
SeaTunnel-JDBC Connector 多表离线同步
离线同步 Doris 多张数据表 到 MySQL 数据库。这里 同步 两张 Doris数据表 到 MySQL数据库同一张表,多对多,多对一 实际 做法也是完全相同的,在 SeaTunnel 里 只需要分别在 在 source、transform、sink中创建相应数量的 配置代码块即可。原创 2023-10-11 22:16:16 · 727 阅读 · 0 评论 -
SeaTunnel-Doris离线同步数据到MySQL(非主键Upsert模式)
需要定时同步 Doris 源表数据到 MySQL 目标表。 但是 MySQL 表使用自增主键,为防止 MySQL 产生重复数据,需要把数据按照 Doris 的 unique key 以 UPSERT 模式写入 MySQL。在 MySQL 中 使用 INSERT ... ON DUPLICATE KEY UPDATE 语句来实现 UPSERT 操作,但是前提需要为 MySQL 设置唯一索引(这里使用 Doris unique key)。原创 2023-10-10 22:42:01 · 525 阅读 · 1 评论