spark本地读取集群hive问题:Failed to connect to /192.168.0.0:9866 for block BP-1340737360-192.168.0.0-1
问题:Failed to connect to /192.168.0.0:9866 for block BP-1340737360-192.168.0.0-1
通过日志可以看出,是本地中无法连接到192.168.0.0:9866,查看自己的网络可以发现192.168.0.0是内部网络,也就是namenode与DataNonde的通信是采用内网进行通信的,我们再本地调试的时候需要指定网络为外网网络
解决方式
1、将hadoop集群的hdfs-site.xml拷贝到IDEA的resources目录下
2、修改或添加如下内容:
<property>
<name>dfs.client.use.datanode.hostname</name>
<value>true</value>
</property>
此时重新运行代码,就成功了!!!