解决Hadoop伪分布式下datanode不出现得情况

已于 2023-06-11 01:56:04 修改
阅读量3.4k 收藏 13
点赞数 12
分类专栏： java 文章标签： hadoop datanode
于 2019-05-17 01:19:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44838902/article/details/90281800
版权

2019.5.17 Hadoop伪分布式环境文件都配置好了，jps的时候不出现datanode，一开始我采用的方法就是不断格式化Hadoop namenode -format 然而没什么效果甚至还会消失之前出的几个节点。在之前配置文件的时候产生过一个Hadoop/tmp文件（这里是指第一个Hadoop文件夹），我把这个tmp文件夹删掉rm -rf tmp，然后在原来的地方重新建一个tmp文件夹mkdir tmp。做完这一步以后格式化Hadoop namenode -format，为了保险起见再格式化datanode，同理用Hadoop namenode -format，这个方法屡试不爽，小白第一次写，不足之处请各路大佬多多指教

热心市民梁先生
关注
  • 12
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
伪分布式基于hadoop3.1.3生态环境大数据集群
06-15
1.本机虚拟机镜像为ova格式，大小为2.9G，仅限VirtualBox使用，本机无图形界面！请注意！ 2.本机为ubuntu16.04服务器版本，无图形化界面，剔除无用冗杂的三方软件，速度更快。 hadoop=3.1.3 jdk=1.8.0_162 hbase=2.2.2 mysql=5.7.3 hive=3.1.2 scala=2.11.12 spark=2.4.0 sbt=1.3.8 flink=1.9.1 maven=3.6.3 建议配合主机的IntelliJ-IDEA的Bigdata拓展工具以及SSH服务进行远程操控使用。 3.本机密码都是“hadoop”。 4.mysql5.7用户名为"root"，密码为"hadoop"。 5.使用hadoop集群前，需要根据本地虚拟机的IP地址修改/etc/hosts文件中的host配置。
hadoop伪分布式下 无法启动datanode的原因及解决办法
热门推荐
sym的博客
07-04 2万+
是由于多次format namenode节点导致 namdenode 的 namespaceID 与 datanode的namespaceID 不一致，从而导致namenode和 datanode的断连。 （因为在多次format中 有 reformat namenode的提示，多次format中不用已知都选Y 去format namenode的 namespaceID ，这样很容易造成ID不一致的情况）
解决Hadoop伪分布式集群jps没有datanode节点问题
sunzhipan11的博客
08-10 9834
解决Hadoop伪分布式集群没有datanode节点问题
Hadoop伪分布式配置--没有DataNode或NameNode
最新发布
qq_62846665的博客
03-11 549
1、输入格式化NameNode命令，找到data和name存放位置。2、删除data或name（没有哪个删哪个）3、重新格式化NameNode。重复格式化NameNode。
伪分布式搭建Hadoop中消失的“DataNode”
m0_74949561的博客
03-05 770
我们在搭建hadoop中都会出现一些小小的问题，在伪分布式安装完Hadoop后，jps查看进程的时候缺三少两，今天解决的问题是6个进程中缺少了DataNode。
Hadoop | 解决启动Hadoop集群，DataNode不存在的问题
martinniee
01-10 4181
问题描述 1.使用 ./sbin/start-all.sh启动Hadoop集群，过程中DataNode没有启动 2.使用jps查看进程时，没有DataNode节点 在此需注意Hadoop集群是如何搭建的 本实验是使用(伪分布式) 1.Master节点 其他节点在Master节点中 2.Slave节点 DataNode在Slave节点中 可用方案 网上可用方案，及其原因分析是 原因1 多次格式化nameNode节点 (hadoop namenode -format),是NameNode和DataNod
Hadoop集群切换伪分布式时Master上jps没有Datanode解决方法
weixin_55501516的博客
11-01 2495
问题：Hadoop的五个分布式环境文件都修改好了，但在Master节点上jps的时候不出现datanode，格式化namenode ：hadoop namenode -format 也没有效果。 分析：在之前配置分布式环境文件的时候产生过一个hadoop/tmp 日志文件，需要删除 解决方法：关掉Hadoop进程：stop-dfs.sh 或关闭所有进程 stop-all.sh ,进入hadoop安装路径把整个tmp文件夹删掉：rm -rf /usr/local/hadoop/tmp，新建一个tmp文件夹
启动Hadoop集群时没有启动datenode怎么解决？
G55331337547的博客
11-09 2414
我在用hadoop namenode -format 将主节点的NameNode进行格式化，并且用start-all.sh 启动集群后，发现datanode节点并没有启动，导致我在进行文件操作时报错。
Hadoop伪分布式环境datanode进程没有
疯子的博客
10-25 2362
摘要 jps查看当前进程，发现缺少了DateNode进程 这个一般是因为namenode进行了多次的格式化，导致namenode的clusterID和datanode的clusterID不同。 解决办法 让这两个一样呗 步骤 1.进入etc/hadoop目录下打开core-site.xml,查看你的文件所在的目录 2.关闭当前的hadoop； $HADOOP_HOME/sbin/stop-al...
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 8525
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
hadoop 源码解析-DataNode
06-06
hadoop 源码解析-DataNode
搭建hadoop伪分布式.docx
05-23
伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)，请注意分布式运行中的这几个结点的区别：从分布式存储的角度来说，集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份。从分布式应用的角度来说，集群中的结点由一个JobTracker和若干个TaskTracker组成，JobTracker负责任务的调度，TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上，这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。
分布式计算框架Hadoop原理及架构全解
02-25
本文来自于csdn，这篇文章讲解了分布式计算框架的核心内容、架构图详解，运用流程等Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括HadoopCommon、HDFS与MapReduce。HDFSHDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为分布式计算存储提供了底层支持。采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。HDFS架构原理HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。NameN
Hadoop集群搭建-完全分布式
01-07
本文通过12个步骤实现Hadoop集群的完全分布式搭建 刚刚入门，如有错误请指出 文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置：hadoop-env.sh（hadoop运行环境相关脚本）core-site.xml（hadoop核心配置）hdfs-site.xml（分布式文件系统HDFS相关配置）mapred-site.xml（MapReduce相关配置）yarn-site.xml（Yarn相关配置）slaves文件（里面写从节点所在的主机名，会在这些主机上启动DataNode）关于配置文件7. 将Hadoop
Hadoop完全分布式配置1
08-03
11. 在第一台节点上格式化并启动namenode12. 在第二个节点上格式化启动namenode13. 三台节点启动datanode14. 在第一台节点和第二
Date常用格式转换
weixin_44838902的博客
05-28 2413
JAVA中date格式转换
java简单的文件搜索
weixin_44838902的博客
08-14 505
在本机的磁盘系统中，找一个文件夹，利用File类的提供方法， 列出该文件夹中的所有文件的文件名和文件的路径 package ch12.homework; import java.io.File; import java.util.ArrayList; import java.util.List; import java.util.Scanner; /** * * 路径是xxx的文件夹内的文...
Hadoop伪分布式
10-08
在伪分布式模式下，Hadoop进程以分离的Java进程来运行，节点同时充当NameNode和DataNode的角色。要进行Hadoop伪分布式设置，您需要修改一些配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml等。可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值