Seatunnel从postgresql同步到mysql

最新推荐文章于 2024-09-12 20:31:11 发布

留梦言

最新推荐文章于 2024-09-12 20:31:11 发布

阅读量776

点赞数 9

分类专栏：大数据疑难杂症文章标签： postgresql mysql 数据库分布式数据仓库

本文链接：https://blog.csdn.net/nanfeng_fable/article/details/135066997

版权

大数据技术同时被 2 个专栏收录

13 篇文章 0 订阅 ¥99.90 ¥299.90

订阅专栏

大数据疑难杂症

14 篇文章 0 订阅

订阅专栏

本文介绍了如何使用Seatunnel进行离线批量数据同步，从PostgreSQL到MySQL。任务适用于批量同步场景，配置文件中涉及关键参数如execution.parallelism、partition_num等影响同步速度。在调整参数无效时，可以通过在URL中添加特定后缀来提升同步速率，例如?rewriteBatchedStatements=true&useCompression=true&useServerPrepStmts=false，此方法曾将同步速度从300条/S提升至更高。

摘要由CSDN通过智能技术生成

Seatunnel从postgresql同步到mysql

任务场景：离线批量同步。顾名思意，离线批量同步需要用户定义好SeaTunnel JobConfig，选择批处理模式，作业启动后开始同步数据，当数据同步完成后作业完成退出。

配置文件如下：

env {
  execution.parallelism = 2
  job.mode = "BATCH"
  checkpoint.interval = 10000
}

source {

Jdbc {
    url = "jdbc:postgresql://IP:5432/bigDataTest"
    driver = "org.postgresql.Driver"
    connection_check_timeout_sec = 100
    user = "***"
    password = "***"
    partition_column = "srid"
    partition_num = 10
    fetch_size = 10000
    query = "select srid,auth_name,auth_srid,srtext,proj4text from public.spatial_ref_sys"
}

}

sink {
  jdbc {
    url = "jdbc

了解本专栏