使用sqoop将数据从hive导出至MySQL数据库

导出语句：

sqoop export --connect 'jdbc:mysql://ip:port/db?user=root&password=12345' --table emp --columns "ID,NAME,ADDRESS" --export-dir /../company.db/epm --input-fields-terminated-by '\036' --input-null-string '\\N' --input-null-non-string '\\N'

 

解释：

--export-dir <dir>  导出过程中HDFS源路径

--input-fields-terminated-by    字段分割符

--input-lines-terminated-by   行分割符

--input-null-string <null-string>  使用指定字符串，替换字符串类型值为null的列 

--input-null-non-string <null-string>  使用指定字符串，替换非字符串类型值为null的列 

 

注意事项：

1、表名区分大小写

2、两表字段名、字段类型需完全一致

 

可能出现的问题：

1、导出之后出现中文乱码

1）在导出时指定编码格式，与MySQL数据库编码格式一致

sqoop export --connect 'jdbc:mysql://ip/db?useUnicode=true&characterEncoding=utf-8' --username root--password 12345--table emp--columns "ID,NAME,ADDRESS" --export-dir /../company.db/epm --input-fields-terminated-by '\036' --input-null-string '\\N' --input-null-non-string '\\N'

2）修改MySQL编码

查看MySQL编码格式   show variables like 'character%';

编码应为：

若不一致

    ①set character_set_server=utf8 （临时设置，重启MySQL服务失效）

    ②修改my-default.ini或者my.ini文件

    [client]标签下添加 default-character-set=utf8

    [mysqld]标签下添加 character-set-server=utf8

    重启MySQL服务，查看是否修改成功