hadoop生态之---sqoop导入数据导致精度丢失

用sqoop  --query选项

在查询的时候将decimal字段concat(field_name)为str类型

目前在查询国内论坛没有找到相关的解决办法

https://blog.csdn.net/mzqadl/article/details/104526202

 

 

精度丢失问题
异常信息

WARN hive.TableDefWriter: Column your_column had to be cast to a less precise type in Hive

1
描述：使用Sqoop，从MySQL往Hive中import数据的时候出现该异常。MySQL表中，对应的列的类型为decimal(10,2)。Sqoop会把它转为Hive的double类型，导致精度丢失。

解决方案：在Sqoop执行语句中，添加下面的参数：

 

--map-column-hive your_column='DECIMAL(10%2C2)'

1
解释：

Jira 官方解释

官方的解释，还不完全正确，还需要在 DECIMAL(10%2C2) 前后，加上单引号 ’ ‘，否则还是会提示语句有误。
————————————————
版权声明：本文为CSDN博主「Au苗子」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/mzqadl/article/details/104526202