Sqoop导出Hive数据到Mysql时异常问题解决
报错信息如下:
原因:
- 报错信息显示:NumberFormatException,初步判断是数据类型,检测Mysql与Hive的建表语句,确认无误,于是手动将Mysql所有字段类型改为varchar,发现DT字段从建表语句之前跑到了后面
- 当前数据库采用mysql8.0+,之前导数时采用的是mysql5.7,可能是sqoop的bug
解决方案:
因为sqoop不再维护,因此有两种方案
3. 更换导数组件,不使用sqoop,采用datax/spark/flink等
4. 添加参数 columns 字段,将导出的每张表字段进行固定
# 示例
hive_db_name=hive_db
mysql_db_name=mysql_db
export_data() {
$SQOOP_HOME export \
--connect "jdbc:mysql://hdp:3306/${mysql_db_name}?useUnicode=true&characterEncoding=utf-8" \
--username username\
--password passward\
--table $1 \
--num-mappers 1 \
--export-dir /datawarehouse/$hive_db_name/ads/$1 \
--input-fields-terminated-by "\t" \
--update-mode allowinsert \
--update-key $2 \
--input-null-string '\\N' \
--input-null-non-string '\\N' \
--columns $3
}
case $1 in
"adsIT_traffic_web_pv" )
export_data "ads_table1" "dt,Column1" "dt,Column1,Column2,Column3"
;;
"adsIT_traffic_product_downloadInstallActivateCount" )
export_data "ads_table2" "dt" "dt,Column1,Column2,Column3.."
;;
"all" )
export_data "ads_table1" "dt,Column1" "dt,Column1,Column2,Column3"
export_data "ads_table2" "dt" "dt,Column1,Column2,Column3.."
...省略
;;
esac