![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Sqoop
lishengping_max
专注大数据领域
展开
-
sqoop导出mysql报错
报错如下java.lang.RuntimeException: Can't parse input data: '\N\N\N' at ads_completed_claim_list.__loadFromFields(ads_completed_claim_list.java:1100) at ads_completed_claim_list.parse(ads_completed_claim_list.java:958) at org.apache.sqoop.mapreduce.Text原创 2020-08-21 14:10:54 · 758 阅读 · 0 评论 -
java调用sqoop api用法
java调用sqoop有两种用法,一是使用sqoop java api,二是使用runtime调用sqoop命令,但runtime比较难用,不推荐,以下是两种使用sqoop Java api的方法。方法一、使用String[]传参(不推荐)代码如下,但经过本人测试,同时调用多个sqoop任务会出现传参不能识别报错 public static void main(String[] args) throws IOException { System.setProperty("HADO原创 2020-07-05 19:00:06 · 1985 阅读 · 4 评论 -
java api并发调用sqoop异常记录
通过java api并发调用sqoop,发现如下相关异常2020-07-03 15:10:44 [ pool-1-thread-6:350039 ] - [ ERROR ] Got exception running Sqoop: java.lang.NullPointerExceptionjava.lang.NullPointerException at java.util.Objects.requireNonNull(Objects.java:203) at java.util.Arrays原创 2020-07-03 17:18:29 · 640 阅读 · 0 评论 -
Sqoop--源数据含有默认换行符导致的数据不正确
问题描述使用sqoop导数导到hdfs中,使用Hive查询发现数据多了,并且有数据错位的现象。原因源数据中有’\n’换行符,导致被hive识别为换行符。所以出现了记录多并且数据错位的现象。解决方法使用sqoop命令时加入:–hive-drop-import-delims例如:sqoop import \ --connect ${CONNECT} \ --username ${USER} \ --password "${PASSWD}" \ --query " select ${imp转载 2020-06-24 20:44:06 · 342 阅读 · 0 评论 -
Sqoop并发控制及相关问题
一、控制参数Sqoop 可以通过以下参数控制并发读取的 Mapper 个数加快读取速度。sqoop import -m <mapper_num> --split-by pk或者sqoop import --num-mappers <mapper_num> --split-by pkSqoop 计算每个 Mapper 读取的数据范围的时候,会遵循很简单的公式计算...原创 2020-03-20 10:25:16 · 1143 阅读 · 0 评论 -
Sqoop异常记录
基于Apache-Sqoop-1.4.6一、Mysql to Hive 1.2017-10-30 20:19:44,317 [myid:] - WARN [main:TableDefWriter@205] - Column register_date had to be cast to a less precise type in Hive 2017-10-30 20:19:44,317...原创 2018-04-27 10:26:33 · 788 阅读 · 0 评论