使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp

如图所示：仔细查看错误信息会发现有下面一条：

2022-07-10 20:17:39,786 INFO mapreduce.Job: Job job_1657447073157_0042 running in uber mode : false
2022-07-10 20:17:39,787 INFO mapreduce.Job:  map 0% reduce 0%
2022-07-10 20:17:47,083 INFO mapreduce.Job:  map 25% reduce 0%
2022-07-10 20:17:51,103 INFO mapreduce.Job:  map 100% reduce 0%

报错的job Id 就是  Job job_1657447073157_0042

然后我就查找了一下yarn日志：

(1) 使用浏览器打开 ： http://slave01:8042/logs     slave01是我的从节点namenode

(2)点击 userlogs/

(3)点击自己job Id

(4)打开第一个再点击syslog

可以看到下面信息：

 SQLException：字符串值不正确：“\xE4\xB8\xAD\xE5\x9B\xBD…”对于第1行的“area”列

也就是在MySQL数据库建表的时候area的字符串值不正确，

我的sql语句是area VARCHAR(32) COMMENT '地区'

后来重新建表，更改area VARCHAR(32) COMMENT '地区'  中VARCHAR(32) 的值

重新执行sqoop命令测试了n次还依旧报错。

我开始转变思路查看表的编码是否是UTF8;

结果不是：我开始更改建表的sql命令

这是之前的sql

CREATE TABLE nev.visit_dws (
sid_total INT(11) COMMENT '根据用户ID去重统计',
sessionid_total INT(11) COMMENT '根据sessionid去重统计',
ip_total INT(11) COMMENT '根据IP地址去重统计',
area VARCHAR(32) COMMENT '地区',
origin_channel VARCHAR(32) COMMENT '来源渠道',
from_url VARCHAR(3083) COMMENT '会话来源页面',
grouptype VARCHAR(32) COMMENT '1.地区维度 2.来源渠道维度 3.会话来源维度 4.总访问量维度',
yearinfo VARCHAR(32) COMMENT '年',
monthinfo VARCHAR(32) COMMENT '月'
);

 更改后：创建表的时候都必须设置数据编码方式

CREATE TABLE nev.visit_dws (
sid_total INT(11) COMMENT '根据用户ID去重统计',
sessionid_total INT(11) COMMENT '根据sessionid去重统计',
ip_total INT(11) COMMENT '根据IP地址去重统计',
area VARCHAR(32) COMMENT '地区',
origin_channel VARCHAR(32) COMMENT '来源渠道',
from_url VARCHAR(3083) COMMENT '会话来源页面',
grouptype VARCHAR(32) COMMENT '1.地区维度 2.来源渠道维度 3.会话来源维度 4.总访问量维度',
yearinfo VARCHAR(32) COMMENT '年',
monthinfo VARCHAR(32) COMMENT '月'
)
charset utf8 collate utf8_general_ci;

 再次执行Sqoop命令：

 sqoop export \
--connect "jdbc:mysql://slave01/nev? useUnicode=true&characterEncoding=utf-8" \
--username root \
--password root \
--table visit_dws \
--hcatalog-database itcast_dws \
--hcatalog-table visit_dws 

结果如下所示：

 问题得以解决

感兴趣的同学可以+企鹅群：249300637