1.创建分区出错
com.alibaba.datax.common.exception.DataXException: Code:[Common-11], Describe:[运行时内部调用错误 .] - 创建分区出错 - org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: SemanticException [Error 10001]: Table not found TDS_APP_KF_PROBLEM_FACT
原因:ddl层建表的时候,只在开发环境建了hive表,需要在开发环境和 生产环境都建一遍表。
解决方法:在ddl建表时候,加上
use sunriver_prd;
先加上上句执行建表语句一次,再注释掉执行建表语句, 实现开发和生成环境都建过hive表
2.连接串格式
Caused by: java.lang.RuntimeException: 连接串格式[10.253.1.1]错误
原因:Oracle没写端口号
3.getDate()时间字段,获取到 明天的日期
原因:时区问题
解决方案:第一步:
数据源的时区添加
jdbc:mysql://*********:3306/middle_base?serverTimezone=Asia/Shanghai&zeroDateTimeBehavior=convertToNull
第二步:
删掉TDS 、ODS 等新建的 hive表,重建hive表。
再执行数据即可
4.报脏数据错误
有时候日志报的脏数据,但其实日志在报脏数据之前,已经报了 insert 权限不足。
这种一般是数据链接中配置的账号密码权限不够。
5.选择视图/表 下拉框时候,报错无法选择表/视图
一般是数据源的配置,加上时区的问题
数栖ETL获取数据库视图/表失败_hzp666的博客-CSDN博客