sqoop导入hive数据时对换行等特殊字符处理

 

使用场景：

 公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。

解决办法：

利用一下两个参数可以实现对换行等特殊字符的替换或者删除

• --hive-delims-replacement
• --hive-drop-import-delims

使用方法，

1、在原有sqoop语句中添加 --hive-delims-replacement “ ” 可以将如mysql中取到的\n, \r, and \01等特殊字符替换为自定义的字符，此处用了空格

2、在原有sqoop语句中添加 --hive-drop-import-delims 可以将如mysql中取到的\n, \r, and \01等特殊字符丢弃