sqoop
yyf960126
这个作者很懒,什么都没留下…
展开
-
用sqoop从mysql、oracle导入数据到hive时,遇到换行符导致数据翻倍的问题
场景由于mysql库中有的字段会有换行符,导致数据存入hive后,条数增多(每个换行符会多出带有null值得一条数据),导致统计数据不准确。解决方法利用一下两个参数可以实现对换行等特殊字符的替换或者删除--hive-delims-replacement替换 --hive-drop-import-delims删除sqoop官网解释- -hive-drop-import-del...原创 2019-03-08 10:45:42 · 1799 阅读 · 0 评论 -
sqoop 常见错误以及处理方式
ORA-00911: invalid character ——sqoop的sql语句中oracle数据库不用带分号Oracle: ORA-00933 error (SQL command not properly ended)——如果没有指定的话,sqoop会默认使用oracle.jdbc.OracleDriverOmit选项 --driver oracle.jdbc.driver.Or...原创 2019-03-25 20:57:43 · 1777 阅读 · 0 评论