启动Hadoop集群时$ ./sbin/start-dfs.sh，DataNode没有启动

最新推荐文章于 2023-10-02 16:26:48 发布
最新推荐文章于 2023-10-02 16:26:48 发布
阅读量6k 收藏 10
点赞数 2
分类专栏： hadoop 文章标签： hadoop DataNode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42114280/article/details/90176969
版权

$ jps

3555 SecondaryNameNode

3295 NameNode

3756 Jps

 

原因：多次格式化namenode导致的namenode与datanode之间的不一致（多次格式化，版本不一致）

解决：把Hadoop下的log和tmp文件夹删掉、Hadoopdata里面文件删除（没有Hadoopdata文件，则将Hadoop下的dfs下的data里面文件删掉）

过程：

①先关闭dfs：./sbin/stop-dfs.sh

②删除掉Hadoop下的dfs下的data里面的东西

③删除Hadoop下的logs和temp文件夹

④重启集群：./sbin/start-dfs.sh

⑤查看进程：jps

$ jps

8115 Jps

7775 DataNode

7681 NameNode

7933 SecondaryNameNode

_Easyway
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
bash: start-dfs.sh: command not found
zl305866424的博客
12-21 7022
bash: start-dfs.sh: command not found
hadoop-3.1.3.tar.gz
12-06
启动Hadoop集群，可以依次执行以下命令： ``` start-dfs.sh start-yarn.sh ``` 七、验证Hadoop安装 启动成功后，可以通过访问http://localhost:50070查看NameNode的状态，http://localhost:8088查看ResourceManager...
Hadoop DataNode不能启动，不能全部启动
LakerPauGasol的博客
03-06 3125
可以查看一下{hadoop文件路径}/etc/hadoop/slaves这个文件，这个文件是集群里所有DataNode的主机名，如果缺少某一个主机名，不能全部启动，将全部要启动datanode的主机名加入即可。目前有三台主机，配置如下：在hadoop102主机上执行启动脚本（自定义脚本或者start-dfs.sh或者start-all.sh）,datanode节点不能正常启动。解决方案：删除hadoop配置文件core-site.xml中指定的缓存数据路径中的数据，然后进行格式化操作。
执行start-dfs.sh后，datenode没有启动
want_to_fly_的博客
10-02 627
多次格式化会导致主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变。我只是虚拟机搞得大数据，所以简单做法就是。的数据存储目录，然后直接删除 data,然后重新创建 data里面的 nn和 dn,然后重新设置一下权限。hadoop namenode -format 格式化多次导致的。一般来说，没有其他报错的话，基本上就是因为。（3）重新格式化就可以成功启动datenode.NameNode元数据的存储位置还有。hdfs-site.xml文件。
Hadoop start-dfs.sh启动后jps没显示进程，已解决！！！
NIE_WIN的博客
10-13 1万+
困扰我很多天的start-dfs.sh启动但jps进程不显示问题已经解决！！！快来看看吧！
CentOS 7.9 系统搭建 Hadoop 集群
花落花开的博客
03-18 4380
安装环境 虚拟软件：VMware® Workstation 16 Pro 虚拟机操作系统：CentOS 7.9-Minimal 虚拟机 IP：192.168.153.11、192.168.153.12、192.168.153.13 前期规划 Hadoop 集群包含两个集群：HDFS 集群、YARN 集群，两个集群在逻辑上分离，但通常会共用主机。 两个集群都是标准的主从架构集群。 HDFS 集群包含的角色（守护进程）： 主角色：NameNode 从角色：DataNode 主角色辅助角色：SecondaryN
Hadoop 安装踩坑与hive启动报错
weixin_45890762的博客
05-15 767
hadoop安装踩坑，jps process information unavailable，tmp下无文件，hive启动失败问题修复
hadoop-2.7.4.tar.gz(linux版安装包)
最新发布
05-15
4. **格式化NameNode**：首次启动Hadoop集群时，需要对NameNode进行格式化，创建HDFS的元数据： ``` hdfs namenode -format ``` 5. **启动Hadoop服务**：启动Hadoop的各个服务，如DataNode、NameNode、...
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
12-17
5. **启动Hadoop服务**：通过`sbin`目录下的脚本启动Hadoop的各个服务，如`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN。 6. **Hadoop命令**：现在可以通过`hadoop fs`或`hadoop dfs`命令与HDFS交互，进行文件...
hadoop-2.9.1.tar.gz
07-18
start-dfs.sh start-yarn.sh ``` 七、验证安装 1. 使用`jps`命令查看是否运行了Hadoop的相关进程，如NameNode、DataNode、ResourceManager等。 2. 浏览器访问`http://localhost:50070`，确认NameNode Web UI正常...
【大数据】Hadoop常用启动命令.pdf
12-24
当首次启动Hadoop集群或需要遵循特定顺序启动时，建议按照以下步骤进行： 1. 首先启动HDFS的守护进程： - `hadoop-daemons.sh start namenode`: 启动NameNode，它是HDFS的元数据管理器。 - `hadoop-daemons.sh ...
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
Hbase的部署安装实践
煮酒blog
05-12 386
安装部署hbase 一、安装zookeeper 1.进入压缩包所在文件夹，解压并安装 解压安装路径 2.重命名安装文件 3.赋予用户当前目录的权限 4、将Zookeeper的安装路径添加到系统的环境变量之中 编辑用户根目录下的./bashrc文件，在尾部添加如下信息，并使用source ~/.bashrc命令使配置立即生效 5、配置Zookeeper存储数据的目录和日志输出目录，在zookeeper安装目录下创建data和log目录 修改配置文件，将zookeeper存储数据的目录修改为已创建的da
./sbin/start-dfs.sh 开启NameNode 和 DataNode 守护进程报错
ArtemisKhryso的博客
04-26 6467
报错信息1： hadoop@artemis-virtual-machine:/usr/local/hadoop$ ./sbin/start-dfs.sh WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER. Starting namenodes on [localhost] WARNING: HADOOP_SECURE_DN_US
Hadoop执行start-dfs.sh时没有namenode的解决方法
qq_51498828的博客
05-06 3801
1.问题 jps后发现进程中只有Jps,SecondaryNamenode,ResoucrceManager，是不是看见就很头疼，我虚拟机打开后，几乎每次都不是少了namenode 就是少了datanode。那么就让我们看一下解决办法吧。 2.解决方法 stop-dfs.sh stop-yarn.sh 先停掉所有进程，然后删除掉temp文件 ...
linux bash 执行sh文件或目录,shell脚本中执行时提示“没有那个文件或目录”的解决办法...
weixin_36110673的博客
04-28 6335
shell脚本中执行时提示“没有那个文件或目录”的解决办法出现bad interpreter:No such file or directory的原因，是文件格式的问题。这个文件是在Windows下编写的。换行的方式与Unix不一样，但是在vim下面如果不Set一下又完全看不出来。问题分析：1、将windows 下编写好的SHELL文件，传到linux下执行，提示出错。2、出错信息：bad int...
搭建虚拟机hadoop时，输入./sbin/start-dfs.sh启动hadoop，解决ERROR: Attempting to operate on hdfs namenode
qq_46555632的博客
10-15 4607
启动hadoop时发生如下错误： [root@localhost ~]# cd /usr/local [root@localhost local]# cd hadoop [root@localhost hadoop]# ./sbin/start-dfs.sh Starting namenodes on [localhost] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_
hadoop大数据
qq_41977453的博客
03-23 453
文章目录一 、hadoop简介二、hadoop安装部署1.下载2.解压，写入环境变量三、不完全分布式1. Standalone Operation2.Pseudo-Distributed Operation伪分布式四、完全分布式1.搭建2.测试3. 在线扩容五、工作原理六、高可用 一 、hadoop简介 二、hadoop安装部署 1.下载 wget https://mirrors.tuna.tsi...
hadoop集群配置踩坑实录
Mocode的博客
03-15 3363
配置hadoop集群时遇到三个坑：start-dfs.sh失败、hadoop文件夹无法传给其他节点、namenode进程启动不成功。根据自身经历进行记录。
hadoop集群启动没有datanode
05-13
如果你的Hadoop集群启动时没有DataNode，则可能有以下几个原因： 1. DataNode守护进程没有启动 - 请检查DataNode守护进程是否已启动。可以通过在DataNode主机上运行以下命令来检查DataNode守护进程是否正在运行： ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值