seatunnel mysql to mysql流式传输问题求解决！

Chtholly丶Mio

已于 2024-04-17 10:34:44 修改

阅读量326

点赞数

文章标签： mysql 数据库

于 2024-04-17 10:24:03 首次发布

本文链接：https://blog.csdn.net/qq_27139775/article/details/137862319

版权

文章讨论了SeaTunnel在配置中遇到的问题，即首次能完成全量数据传输，但后续对源表的修改或新增无法实现增量同步。配置涉及MySQL-CDC数据源和JDBC目标库，寻求解决日志截图中的同步问题的建议。

摘要由CSDN通过智能技术生成

配置如下，问题是只能进行第一次全量传输，后续无法实现增量，在源表修改或新增，seatunnel不能同步。
ps：binlog均已打开

   env {
      # You can set SeaTunnel environment configuration here
      execution.parallelism = 2
      job.mode = "STREAMING"
      # 10秒检查一次，可以适当加大这个值
      checkpoint.interval = 5000
      #execution.checkpoint.interval = 10000
      #execution.checkpoint.data-uri = "hdfs://localhost:9000/checkpoint"
    }

    # 配置数据源
    source {
      MySQL-CDC {
        # 数据库账号
        username = "XXX"
        password = "XXX"
        # 源表，格式：数据库名.表名
        table-names = ["nbgame.test2"]
        base-url = "jdbc:mysql://192.168.x.x:3306/XXX"
        startup.mode = "initial"
      }
    }

    # 配置目标库
    sink {
      jdbc {
        url = "jdbc:mysql://192.168.109.XXX:3306/bsods"
        driver = "com.mysql.cj.jdbc.Driver"
        user = "XXX"
        password = "XXX"
        
        generate_sink_sql = true
		# 目标数据库名
        database = "bsods"
        # 目标表名
        table = "test3"
        # 主键名称
        primary_keys = ["id"]
      }

    }

部分运行日志截图如下。
在这里插入图片描述