sqoop mysql数据进hive 数据条数 膨胀变多 变成脏数据

当mysql表中数据含有 \r 或者\n 导入数据到hive会造成数据条数的膨胀，出现大量的脏数据，因为hive表默认的行分隔符时 \n

解决方案去除mysql中的 \r \n

#mysql建表
create table student(id int(10),name varchar(255));
insert into student values(1,'{yang\r      \n      \n    }');


#hive建表
drop table student;
create table student(id int,name string)
row format delimited fields terminated by '\t';



#方法一 sqoop mysql端sql语句去除 更灵活比如去除 \t ,但需要操作人员指定特定的字段
sqoop import \
--connect jdbc:mysql://node1:3306/test?zeroDateTimeBehavior=convertToNull \
--username root \
--password root \
--query "select id ,REPLACE(REPLACE(name,char(9),' '),char(10),' ') from student where \$CONDITIONS" \
--target-dir '/user/hive/warehouse/test.db/student' \
--delete-target-dir \
--fields-terminated-by '\t' \
--split-by id


#方法二 sqoop hive参数去除 不许要指定字段，全部去除。不能去除 \t

sqoop 10个map 3000万条数据 要跑

使用方法，

1、在原有sqoop语句中添加 --hive-delims-replacement " " 可以将如mysql中取到的\n, \