linux上配置hadoop没有出现datanode，datanode，SecondaryNameNode的解决方法

最新推荐文章于 2024-05-13 21:12:34 发布
最新推荐文章于 2024-05-13 21:12:34 发布
阅读量1.6k 收藏 2
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41416254/article/details/105627730
版权

在网上查阅了许多教程都没用什么，比如清空name和data里面的文件之类的，然并卵
后来看了下logs
里面报错为java.net.UnknownHostException: simple02: simple02
在这里插入图片描述
将错误在网上搜索总算找到解决办法，原来是我的/etc/hosts文件没有配置主机映射，vi /etc/hosts后加上linux的ip地址和主机名即可
在这里插入图片描述
解决这类问题不要直接通过结果搜索，这样会如同大海捞针，毕竟出现相同错误也有很多种原因，一定要先看日志找到第一个异常对症下药，就迎刃而解了
logs就在解压后的hadoop2.6.0文件夹下

ʞɔnpʎsԀ
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于hadoop守护进程缺少SecondaryNameNode或Datanode的一个解决办法
Arthur_77的博客
11-28 8895
在搭建分布式集群时出现了一个问题： 五大守护进程之二的SecondaryNameNode和Datanode没有出现 对于SecondaryNameNode，可以尝试在hadoop安装文件夹的tmp子文件夹中删除dfs文件夹 随后进行格式化： 随后重新start-all.sh并jps一下，会发现SecondaryNameNode出现了。 其次是datanode的问题。datanode如果挂掉50070端口会少一个存活节点。这个问题解决方法如下： 进入hadoop安装文件夹下...
搭建hadoop伪集群时遇到的datanode不启动的问题
为了忘却的纪念
06-29 1165
搭建了一个搭建hadoop伪集群,，出现一个奇怪的问题：DataNode木有启动，终于找到了原因，特此记录留作纪念 各个配置文件内容如下： /etc/profile: ########## jdk ################ export JAVA_HOME=/opt/package/jdk1.7.0_76 ########### hadoop ############ export
Hadoop集群启动但是没有datanode/namenode的情况
学习笔记
11-26 7954
Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。但是后来启动集群，一开始是主节点没启动起来，因为配置文件看走眼，配错了，然后又重新初始化了一次，然后可能因为重复初始化，导致datanode又没了，然后一直在尝试，一直在搜CSDN到底什么原因。目前根据搜索到的以及老师说的总结起来有三点：1.配置文件出错了2.ssh免密没做好3.重复初始化这三个问题应该在之前不断循环往复的出现…直到这周终于把集群启动起来并且能够正常工作了。
hadoop集群启动唯独缺少DataNode进程的解决方法
最新发布
2202_75961842的博客
05-13 665
我们可以找到datanode的资料，VERSION文件，然后把所有用到datanode进程的节点上面的VERSION都删除，再在主机上重新进行格式化，再次使用。因为各种原因导致需要快照或重新配置，进入到最后一步格式化过后，开启集群发现主机进程一切正常，从节点其他进程也都有，唯独Datanode进程没有的情况。，datanode进程就可以出来了。可能是因为两次甚至多次的。然后重启Hadoop。
Linux虚拟机jps没有出现datanode和secondarynamenode
m0_63697611的博客
04-22 1148
有没有知道问题的解答一下
启动hadoop集群没有SecondaryNode和DataNode和NameNode的解决方案
2301_77160836的博客
08-02 3971
启动hadoop集群没有SecondaryNode和DataNode和NameNode的解决方案
解决hadoop运行不出现DataNode和NameNode的问题
weixin_44540229的博客
03-26 2866
首先DataNode不出现，我去了hadoop的logs日志中查看DataNode的日志是否有报错，发现了报错的内容 NameNode报错的内容： 上网搜了一遍，说tmp目录会被定期清除，而我的core-site.xml配置的内容如下： <configuration> <property> <name>hadoop.tmp.dir&l...
hadoop datanode重启出现namenode的clusterID和datanode的不一致。
木易的专栏
05-10 9700
日志报出的错误是这样的： 016-05-10 15:14:05,620 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (storage id DS-6116241-10.20.18.160-50010-1462417536805) se
Linux下Hadoop伪分布式配置
10-21
Linux下的Hadoop伪分布式配置是一种在一台机器上模拟Hadoop分布式环境的方法，它允许开发者在本地环境中测试和调试Hadoop应用程序，而无需实际的多节点集群。这种模式使用单个节点来模拟整个Hadoop集群，包括...
hadoop 单机安装配置教程
09-05
在系统的环境变量配置文件（如Linux下的`.bashrc`或`.bash_profile`）中添加Hadoop的路径，并使改动生效。 ```bash export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/...
CentOS Linux中搭建Hadoop和Spark集群详解.docx
06-06
在CentOS 7环境下搭建Hadoop集群，首先需要规划集群的架构，包括确定Namenode、SecondaryNamenode、Datanode、ResourceManager和NodeManager等节点的角色分配。Namenode是HDFS的主节点，负责元数据管理；...
hadoop完全分布式安装配置
05-24
NameNode的格式化只需执行一次，之后每次启动Hadoop集群时，只需启动DataNode、SecondaryNameNode、ResourceManager、NodeManager等服务。 在多节点环境中，你需要在所有节点上重复这些步骤，并在主节点上配置 ...
hadoop安装预配置详细教程
12-23
首先启动DataNode和SecondaryNameNode，然后启动ResourceManager和NodeManager（如果使用YARN）。最后启动NameNode。这些服务可以通过启动脚本或在Hadoop的sbin目录下的命令行工具启动。 在验证Hadoop是否正常运行...
Hadoop之namenode不显示datanode
Fozei的博客
04-05 1484
最近在浅玩Hadoop,配置HDFS时,遇到两个小问题,记之. 首先介绍下概况: centos8和hadoop2.10.0,三台虚机,分配地址分别为.41 .42和.43,准备在.41机器上搭建namenode和datanode,另外两台分别搭建一个datanode. 先看下最后解决完问题后的成果: 问题来源1:第一台机器按照Hadoop官网配置NameNode和DataNode完成后,将Had...
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 2721
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
hadoop：datanode连接不上namenode
Six
10-11 6878
记录一次hadoop集群启动过程中datanode连接不上namenode的经历。 启动集群后 发现datanode一直报连接namenode 检查了很多设置 比如ssh 防火墙 系统时间 硬件时间等等 发现都是ok的 但是hadoop的datanode一直连接不上namenode namenode和datanode的日志也没有报错 无意中看到namenode的日志中有一个w
解决Hadoop集群丢失Namenode或Datanode问题
liu_xia_zhou的博客
07-04 3899
首先，最开始的问题是我无法在网页查看50070端口，所以我格式化了一下namenode，./hdfs namenode -format并尝试重启hdfs。 发现此时已解决，无50070端口问题，也可在网页查看集群信息，但是竟然datanode消失了 在sbin目录下，我又重新关闭+启动了一波集群 ./start-all.sh发现此时可以解决仍然无效 查阅资料，发现可能是因为不小心多格式化了几次namenode导致，主从机之间clusterID不一致，因此jps不显示datanode的问题。所以我们寻找
Hadoop集群下找不到datanode的解决方法
yrxfight的博客
09-04 4968
出现了 no datanode to stop，是因为我进行了二次格式化导致的。 解决方法如下： 第一步：进入core-site.xml文件中查看数据的存储路径 第二步：删除文件下的所有东西 [root@bigdata111 tmp]# rm -rf * 第三步：进行格式化 [root@bigdata111 tmp]# hdfs namenode -format 第四步：jps产看结果 ...
启动jps时secondarynamenode没有进程
weixin_55811411的博客
12-23 5764
很久没打开虚拟机了，今天打开查看jps进程的时候发现secondarynamenode进程突然不见了，重复启动了好几次，都是这样 查询发现，是它的进程被占用了 应该就是2048端口号的问题 查看端口 ps -ef | grep 2684 消灭这个占人进程的端口 kill -9 2048 再重新启动，并查看jps进程看看 这样就好了’_’ ...
sbin/start-dfs.sh Starting namenodes on [hadoop102] hadoop102: ERROR: Cannot set priority of namenode process 56124 Starting datanodes hadoop104: datanode is running as process 41444. Stop it first. hadoop102: datanode is running as process 49994. Stop it first. hadoop103: datanode is running as process 23472. Stop it first. Starting secondary namenodes [hadoop104] hadoop104: secondarynamenode is running as process 41658. Stop it first.
06-08
这个错误提示表明启动Hadoop集群时出现了一些问题，可能是由于权限、配置、进程等原因导致的。 可以尝试以下方法逐一排查： 1. 检查用户权限： 确认当前用户是否具有启动Hadoop集群的权限，尝试使用root用户或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值