datax使用报错汇总:
1.报错问题:
插件[odpsreader,mysqlwriter]加载失败,1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误,
您提供的配置文件[/home/lijixin/datax/datax/plugin/reader/._oraclereader/plugin.json]不存在. 请检查您的配置文件.
经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Description:[您提供的配置文件存在错误信息,请检查您的作业配置。].
-配置信息错误 ,您提供的配置文件:/Users/hn/datax/plugin/reader/.DS_Store/plugin.json]不存在,请检查您的配置文件。
解决方法:
这个和环境变量没关系,原因是你操作过reader目录的内容,系统会自动生成一个.DS_Store的系统文件不可见,而dataX默认plugin/render都是文件夹,没有做操作系统这种层面的差异处理
所以你需要手动把错误路径下的.DS_Store文件删除即可
2.
datax在linux下定时运行(crontab)日志报错: /bin/sh: 1: java: not found
解决方法:发现是因为缺少环境变量,需要在 crontab 命令中指定环境变量位置(之所以这么解决是在linux /ext/profile中的权限是只读权限,所以只好在crontab中指定环境变量)
#2点运行该脚本 从一个库的某张表同步数据到另一个库的某张表
0 2 * * * . /etc/profile;python2 /home/datax/bin/xxx.py /home/datax/job/data_sync/xxx.json >> /home/logs/xxx.log 2>&1
tips:
1.标准输入,标准输出,标准错误(也是输出到屏幕)分别对应的文件描述符是 0,1,2
command >>filename 把标准输出追加到文件中
command 1>>filename 把标准输出追加到文件中
command 2>>filename 把标准错误追加到文件中
> 默认为标准输出重定向
2>&1 意思是把标准错误输出 重定向到 标准输出.