Centos7.9通过datax-web2.0_用Datax3.0同步mysql到mysql_同步mysql到hbase_同步mysql到postgresql---大数据之DataX工作笔记004

本文介绍了如何使用DataX-Web2.0结合DataX3.0进行数据同步,强调了writeMode的重要性,特别是从MySQL到MySQL、HBase和PostgreSQL的配置。文中提到了DataX3.0对Phoenix的支持,以及在data-web中配置Datax.py路径的细节,提供了有效的JSON配置模板。
摘要由CSDN通过智能技术生成

这里要注意:json中的writeMode是很有用的,这个要注意,一般mysql配置为update,其他的配置为update

writeMode

默认writeMode为insert,此情况下只能新增数据,有主键冲突就会报错,此时需要设置为写入模式为更新模式(replace)。源码mysqlwriter.md中有解释如下:

* writeMode
* 描述:控制写入数据到目标表采用 `insert into` 或者 `replace into` 或者 `ON DUPLICATE KEY UPDATE` 语句<br />
* 必选:是 <br />
* 所有选项:insert/replace/update <br />
* 默认值:insert<br />

mysql比较特殊的写入模式配置为"writeMode": "update",其他数据库需要酌情配置为"writeMode": "replace"

看一个例子:

"writer": {
          "name": "mysqlwriter",
   
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值