sqoop 1.99.6遇到的错误

最新推荐文章于 2021-01-14 11:25:54 发布

benwdm

最新推荐文章于 2021-01-14 11:25:54 发布

阅读量528

点赞数

分类专栏： T_java T_大数据文章标签： java 大数据

本文链接：https://blog.csdn.net/benwdm/article/details/84721360

版权

T_java 同时被 2 个专栏收录

145 篇文章 0 订阅

订阅专栏

T_大数据

2 篇文章 0 订阅

订阅专栏

在使用Sqoop 1.99.6创建和运行作业时遇到了多个问题，包括配置错误提示、增量读取的Last value要求、输入字段大小限制以及执行命令时的异常。通过详细检查输入数据、处理Check column的值、调整verbose选项以获取更详细的错误信息，最终定位到HDFS配置问题，解决了默认端口不匹配的错误，成功执行了job。

摘要由CSDN通过智能技术生成

1、create job 时：

There are issues with entered data, please revise your input:

说明配置有错，请重新检查各输入项

2、create job 时：

Last value is required during incremental read

是因为Check column: 输入了值，所以要求输入 Last value

3、接上一问题，输入Last value后：

Size of input exceeds allowance for this input field. Maximal allowed size is -1

怎么都没办法输入正确，一个字符也不行，重新配置时把Check column 项清空就好了

4、start job -j 1时:

Exception has occurred during processing command
Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception

根本不知道这个提示说什么，通过修改设置：

set option --name verbose --value true

，再次执行 start job -j 1，显示出有用的出错信息：

Exception has occurred during processing command
Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception
Stack trace:
         at  org.apache.sqoop.client.request.ResourceRequest (ResourceRequest.java:129)
...
Caused by: Exception: org.apache.sqoop.common.SqoopException Message: GENERIC_HDFS_CONNECTOR_0007:Invalid output directory - Unexpected exception
Stack trace:
         at  org.apache.sqoop.connector.hdfs.HdfsToInitializer (HdfsToInitializer.java:71)
...
Caused by: Exception: java.net.ConnectException Message: Call From localhost.localdomain/127.0.0.1 to localhost:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
Stack trace:
         at  sun.reflect.NativeConstructorAccessorImpl (NativeConstructorAccessorImpl.java:-2)
...
Caused by: Exception: java.net.ConnectException Message: 拒绝连接
Stack trace:
         at  sun.nio.ch.SocketChannelImpl (SocketChannelImpl.java:-2)
...

在$HADOOP_HOME/etc/hadoop/core-site.xml 检查默认端口为 9000，重新修改连到HDFS的Link配置，重新执行job，问题解决。

待续...