问题描述
BDM平台运行mapping时显示运行完成,但有错误,打开日志显示
java.long.RuntimeException: UserDefinedJob execution failed
解决思路
在yarn上看到了spark任务运行成功,后来发现原来infor中一个mapping不止生成一个任务,还有另一个jar包报错,但是jar包报错并不会生成错误日志,所以排除是spark上运行出错,猜测是orecle表转换成vertica表出现了错误。
解决方案
在建表时,将orecle库中的DDL语句verchar2(20),在vertical的建表语句中修改为vercahr(200)
原因解释
建表时,orecle数据库中是varchar2,vertical中是verchar,由varchar2(20)向varchar(20)类型转换时会产生数据溢出,所以需要增加vertical的varchar中的长度,修改后,程序跑通。