DataX 数据同步
文章平均质量分 85
DataX 数据同步
慌途L
随手记录,错误之处敬请指出。
展开
-
DataX踩坑2 | 定时任务crontab不执行或报错:/bin/sh: java: command not found
前面两天写了一个DataX的增量同步脚本,今天检查了一下发现定时任务没有执行成功,数据并没有同步。以下为排查问题和解决方法。一、定时任务crontab不执行脚本(测试用的可以设为每分钟一次:*/1 * * * *):0 5 * * * /opt/datax/bin/incrSyncTask.sh >/dev/null 2>&11.查看crontab日志,看是否成功执行了脚本:tail -f /var/log/cron报错:Oct 28 09:32:10 izw.原创 2020-10-29 10:11:19 · 6136 阅读 · 3 评论 -
Shell 脚本参数传递时有 \r 换行符问题
最近用Nodepad++写Shell脚本进行参数动态传递时,发现有时候参数携带了\r换行符,编辑器里也是Shell脚本的语言。本来一看就知道是换行符的问题,偏偏有的脚本不带\r符号,有的又带,真的迷!问题原因:Unix体系里,每行结尾只有"<换行>”,即"\n";Windows体系里面,每行结尾是"<换行><回 车>”,即"\n\r”。所以当从Windows上把脚本放入Linux上后,会把"\n\r”一起带入解决方法:博主使用第二种方法解决了问题,第一原创 2020-10-25 21:44:55 · 7005 阅读 · 3 评论 -
DataX踩坑1 | 连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port
1.ERROR RetryUtil - Exception when calling callable, 异常Msg:Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - 具体错误信息为:java.sql.SQLException: No suitable driver found for [“jdbc:mysql://localhost:3306/data原创 2020-10-25 20:08:40 · 12286 阅读 · 7 评论 -
DataX | MySQL多表全量同步和多表定时增量同步
简介增量同步和全量同步是数据库同步的两种方式。全量同步是一次性同步全部数据,增量同步则只同步两个数据库不同的部分。多表同步大家肯定都会想用最省事的方法,比如就建立一个公共的Json模板,将读库(reader)和写库(writer)的连接地址、端口、账号、密码、表名都动态传入,然后字段用*号代替。那博主就告诉你,后续出错和维护的坑你得走一遍了,并不是说不行,具体还是看业务场景来。避免大家踩坑,这里的多表同步会采用脚本进行动态参数传入,建议每个表对应一个Json文件,每个字段都单独写,并且字段用`符号包原创 2020-10-25 20:08:04 · 15955 阅读 · 9 评论 -
DataX | 在Liunx上安装和使用
一、DataX3.0 概述和核心优势参考官网,这里就不多做介绍:DataX3.0介绍.DataX快速开始说明:快速开始文档.二、Liunx 上安装DataX1.查看当前linux是什么系统版本:查看系统的名称,命令:uname查看具体的系统版本,命令:cat /etc/redhat-release2.查看是否具备jdk和python环境:查看jdk版本,命令:java -version查看python的版本,命令:python -v注意:JDK(1.6以上,1.8即可)原创 2020-10-25 20:06:00 · 7833 阅读 · 3 评论