sqoop导出hive到mysql_Sqoop导出Hive数据到Mysql

1 需求描述

Hql统计出热搜关键词，使用Sqoop将结果从Hive导出到Mysql，其中关键字是中文，需要注意建表语句和Sqoop导出参数的设置。这里记录整个导出过程及遇到问题如何排查解决。

2 Sqoop导出Hive数据到Mysql

2.1 Mysql建表

create table if not exists keyword_seach(

dt varchar(30) not null,

keyword varchar(255) not null,

count varchar(30) not null

)ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

这里需要特别注意，Hive结果表results中keyword是中文，建表语句需要添加CHARSET=utf8mb4 COLLATE=utf8mb4_bin，否则报错Incorrect string value: '\xF0\xA4\xA3\xB3\xE5\xB0...' for column 'keyword' at row 39。

2.2 Sqoop导出脚本

sqoop_export.sh

#!/bin/bash

sudo -uhdfs sqoop export \

--connect \

"jdbc:mysql://IP:3306/database?useUnicode=true&characterEncoding=utf8" \

--username 'database' \

--password 'password' \

--table keyword_seach \

--export-dir /user/hive/warehouse/database1.db/results \

--num-mappers 1 \

--input-fields-terminated-by '\001' \

--input-null-string '\\N' \

--input-null-non-string '\\N'

导出数据包括中文，需要添加useUnicode=true&characterEncoding=utf8。

2.3 执行Sqoop脚本

这里主要记录执行脚本过程中的报错及排查，第一次执行后报错权限不够

//查看权限

sudo -uhdfs hadoop fs -ls /tmp

//修改权限

sudo -uhdfs hadoop fs -chown -R root:root /tmp

第二次执行报错发现mysql表设置了主键,Sqoop向mysql导数据，主键冲突导致的，这篇博客给出了解决办法跳转。

第三次执行报错，记录一下过程。

(1) 查看日志

找到application_XXXXX，开始排查错误

yarn logs -applicationId application_1593700350483_58776 //执行 查日志

(2)解决问题

查看日志后，发现如下报错

Caused by: java.io.IOException: java.sql.SQLException: Incorrect string value: '\xF0\xA4\xA3\xB3\xE5\xB0...' for column 'keyword' at row 39

at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:233)

at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:46)

at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.write(MapTask.java:670)

at org.apache.hadoop.mapreduce.task.TaskInputOutputContextImpl.write(TaskInputOutputContextImpl.java:89)

at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.write(WrappedMapper.java:112)

at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:89)

... 10 more

从日志发现就是上面反复提到的建表语句中文问题，建表语句增加CHARSET=utf8mb4 COLLATE=utf8mb4_bin，Sqoop增加添加useUnicode=true&characterEncoding=utf8，问题解决。