本地IDEA连接服务器hive连接不上出现org.apache.hadoop.hdfs.BlockReaderFactory - I/O error constructing remote block

在idea中运行SparkSQL,要连接服务器部署的Hive出现下面问题

 WARN Executor task launch worker for task 0 org.apache.hadoop.hdfs.BlockReaderFactory - I/O error constructing remote block reader.
java.net.ConnectException: Connection timed out: no further information

原因:客户端创建文件先访问NameNode服务器进行创建文件Meta信息,以及文件树,此时访问的的NameNode的IP,NameNode服务器创建文件成功后,会返回对应dataNode的服务器节点,但此时的节点信息中的ip是与NameNode在同一网络下的内网IP,客户端是无法访问,也就无法写入。

解决:在客户端中,或者服务器端etc/hadoop/hdfs-site.xml中配置

在hdfs-site.xml增加

    <property>
      <name>dfs.client.use.datanode.hostname</name>
      <value>true</value>
    </property>

或者

conf.set("dfs.client.use.datanode.hostname","true");--设置客户端访问datanode使用hostname来进行访问
根据提供的引用内容,你遇到的问题是在使用Hive出现了错误信息"FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs"。这个错误通常是由于Hive无法将源文件移动到目标位置导致的。可能的原因包括目标位置已经存在同名文件或者目标位置没有足够的权限。 解决这个问题的方法有以下几种: 1. 检查目标位置是否已经存在同名文件。如果存在同名文件,可以尝试删除或重命名该文件,然后重新运行Hive命令。 2. 检查目标位置的权限。确保你有足够的权限将文件移动到目标位置。你可以使用Hadoop的命令行工具(如hadoop fs -ls)来查看目标位置的权限,并使用hadoop fs -chmod命令修改权限。 3. 检查Hive的配置文件。有时候,Hive的配置文件中可能存在错误或不一致的配置,导致无法移动文件。你可以检查hive-site.xml文件中的相关配置,并确保其正确性。 4. 检查Hadoop集群的状态。如果Hadoop集群的状态异常,可能会导致无法移动文件。你可以使用Hadoop的管理工具(如Ambari或Cloudera Manager)来检查集群的状态,并尝试重新启动相关的服务。 5. 检查网络连接。有时候,网络连接不稳定或中断可能导致无法移动文件。你可以检查网络连接是否正常,并尝试重新运行Hive命令。 请注意,以上方法仅为常见解决方案,具体解决方法可能因环境和具体情况而异。如果以上方法无法解决问题,建议查看Hive的日志文件以获取更多详细的错误信息,并参考HiveHadoop的官方文档寻找更多解决方案。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值