![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Sqoop
wangxucumt
这个作者很懒,什么都没留下…
展开
-
Sqoop问题总结
今天发现使用sqoop导入db的时候JOB失败,有异常数据导致的,但是如何根据日志中的异常堆栈信息定位到异常数据呢? 每次通过sqoop导入MySql的时,都会生成一个以MySql表命名的.java文件,然后打成JAR包,给sqoop提交给hadoop 的MR来解析Hive表中的数据。那我们可以根据报的错误,找到对应的行,改写该文件,编译,重新打包,sqoop可以通过 -jar-file ,--...原创 2013-11-13 14:11:16 · 447 阅读 · 0 评论 -
Sqoop bug
发现一个sqoop的bug. org.apache.sqoop.lib.RecordParser public List parseRecord(CharBuffer input) 在此方法中,如果某个field结尾有许多ascii值为0的char,会造成当遇到fieldDelim的时候,无法将state重置为FIELD_START,造成两个字段会被识别为一个字段...原创 2013-11-14 11:51:39 · 145 阅读 · 0 评论