sqoop批量将mysql数据库中的表导入hive中 遇到的问题（已解决）

#! /bin/bash
#按照行读取文件中的表名

while read line
do
sqoop import \
	--driver com.mysql.cj.jdbc.Driver \
	--connect jdbc:"mysql://hadoop11:3306/jrxd?characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull"  \
	--username root \
	--password 123456 \
	--table $line \
	--num-mappers 1 \
	--hive-import \
	--fields-terminated-by "," \
	--hive-overwrite \
	--hive-database finance \
	--hive-table ods_$line   \
	--null-non-string   '\\N' \
	--null-string  '\\N'

done < /opt/data/bm.txt

该脚本是循环读取bm.txt文本中的MySQL数据库中对应的表名，在hive中创建对应的ods_对应表名的文件

报错问题1

SQLException in nextKeyValue

原因是数据中的含有日期列，在查询中数据库中有错误时间格式的数据，数据值为 0000-00-00 00:00:00

exception（默认）：抛出异常

convertToNull：转化为null

round：用最近的日期代替如2002-01-01

cdh版sqoop对“0000-00-00”类型的时间数据明显采取的是默认exception策略，而Apache sqoop官网明确表明将会把0000-00-00的date值默认转成null。

解决方法 connect jdbc后面手动加上?zeroDateTimeBehavior=convertToNull

注意参数大小写和加入该参数后可能会识别不到，需要给url使用双引号包裹！！！！（如代码中所示）

报错问题2

错误2：ERROR tool.ImportTool: Error during import: Import job failed

可能是权限问题

解决方法（给对应的hive仓库增加权限）

hadoop fs -chmod 777 /user/hive

hadoop fs -chmod 777 /user/hive/warehouse

可能是在于任务执行时间超时，导致的报错。如果执行超时就重新执行。

建议增加参数import -D mapred.task.timeout=0

成功后截图