Call From ubuntu/127.0.1.1 to localhost:9000 failed on connection exception

最新推荐文章于 2023-04-17 23:24:41 发布

11号的乔乔

最新推荐文章于 2023-04-17 23:24:41 发布

阅读量7.4k

点赞数 12

分类专栏： Spark 文章标签： spark hadoop 大数据

本文链接：https://blog.csdn.net/DaB_za/article/details/115532108

版权

Spark 专栏收录该内容

4 篇文章 1 订阅

订阅专栏

当使用Spark从HDFS遇到问题，发现DataNode未启动时，可以按照以下步骤解决：首先停止HDFS服务，然后删除tmp目录（注意数据丢失风险），接着重新格式化NameNode，最后启动HDFS服务。确保NameNode和DataNode的状态可通过jps命令检查。

摘要由CSDN通过智能技术生成

我是在使用Spark读取HDFS的时候遇到这个问题的，通过查阅网上资料，结合自己的学习，写一下自己是怎么解决的。
网上大多的部分资料都是NameNode没有启动，但是我查了一下我的系统，NameNode已经启动，但是DataNode没有启动。结合林子雨老师的学习资料（Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0(2.7.1)/Ubuntu14.04(16.04)），写一下DataNode怎么启动。
若是 DataNode 没有启动，可尝试如下的方法（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）：

#针对 DataNode 没法启动的解决方法
cd /usr/local/hadoop
./sbin/stop-dfs.sh   # 关闭
rm -r ./tmp     # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format   # 重新格式化 NameNode
./sbin/start-dfs.sh  # 重启