sqoop同步数据字段常见的一些问题及解决办法

1.字段名称错误

解决方法: 字段名称发生错误的时候,直接别对字段名,hive表的字段名和rmdb数据库表的字段名是否有写错的地方

2.数据长度超过设定

实际状况,使用sqoop将数据导入postgresql时报错，显示有字符超过pg表设定的长度，但是并没有显示是那个字段超出

解决方法: 查看postgresql里面设定为长度的字符,.使用length函数，定位临时表里面超过字符长度的字段,找出详细的字段
详细参考下面的方法
https://blog.csdn.net/mantoli/article/details/115677490

3.字段格式错误

报错情况 for input string " " 或者 for input string " 15.000" 等显示格式不匹配的情况

原因分析: 一般出现这种情况的原因有两种
1.hive同步过去的数据值和rmdb数据库设定格式不匹配
如 同步hive数据为15.000 但是rmdb设定的格式为 int4 就会报字段错误
2.第二种情况,同步字段对应的数据顺序写错了
本来应该吧2012-12-18同步给设定给tmp的字段a,结果同步时候顺序写错了给了其他设定的字段b

解决方案: 先查数据看看格式是否匹配,再查对应的字段电脑是否写错,就好找出对应的,如果是格式不匹配,先和业务提供的需求字段是否是正确的,如果业务要求就是如此,我们直接使用 cast( 字段 a a as int) 等方法将字段改成需要的格式即可, 如果是同步字段错位,改回来就可以了