当mysql表中数据含有 \r 或者\n 导入数据到hive会造成数据条数的膨胀,出现大量的脏数据,因为hive表默认的行分隔符时 \n
解决方案去除mysql中的 \r \n
#mysql建表
create table student(id int(10),name varchar(255));
insert into student values(1,'{yang\r \n \n }');
#hive建表
drop table student;
create table student(id int,name string)
row format delimited fields terminated by '\t';
#方法一 sqoop mysql端sql语句去除 更灵活比如去除 \t ,但需要操作人员指定特定的字段
sqoop import \
--connect jdbc:mysql://node1:3306/test?zeroDateTimeBehavior=convertToNull \
--username root \
--password root \
--query "select id ,REPLACE(REPLACE(name,char(9),' '),char(10),' ') from student where \$CONDITIONS" \
--target-dir '/user/hive/warehouse/test.db/student' \
--delete-target-dir \
--fields-terminated-by '\t' \
--split-by id
#方法二 sqoop hive参数去除 不许要指定字段,全部去除。不能去除 \t
sqoop 10个map 3000万条数据 要跑
使用方法,
1、在原有sqoop语句中添加 --hive-delims-replacement " " 可以将如mysql中取到的\n, \