HIVE导出空值\N ,sqoop 导入数据库中时,可能\N字符串无法转换对应类型
–input-null-non-string \N –input-null-string \N
sqoop操作的时候会生成queryresult.jar提交任务,当并行操作有异常冲突
–class-name jarName
经常遇见的split数量不对问题,CombineFileInputFormat
[org.apache.sqoop.tool.ExportTool.run(ExportTool.java:102)] - Encountered IOException running export job: java.io.IOException: Max block location exceeded for split:…. splitsize: 12 maxsize: 10
设置
-D mapreduce.job.max.split.locations=100
mapreduce.job.max.split.locations 10
The max number of block locations to store for each split for locality calculation.
mysql导出日期类型 格式
datetime timestatmp 年月日时分秒
yyyy-MM-dd HH:mm:ss
date
yyyy-MM-dd
重复数据
由于task失败导致重试问题,造成数据重复
–update-key id –update-mode allowinsert