Sqoop 1.4.6 踩坑记录

精度丢失问题

• 异常信息

  WARN hive.TableDefWriter: Column your_column had to be cast to a less precise type in Hive

• 描述：使用Sqoop，从MySQL往Hive中import数据的时候出现该异常。MySQL表中，对应的列的类型为decimal(10,2)。Sqoop会把它转为Hive的double类型，导致精度丢失。

• 解决方案：在Sqoop执行语句中，添加下面的参数：

  --map-column-hive your_column='DECIMAL(10%2C2)'

• 解释：

  • Jira 官方解释

  • 官方的解释，还不完全正确，还需要在 DECIMAL(10%2C2) 前后，加上单引号 ’ ‘，否则还是会提示语句有误。