Hadoop集群切换伪分布式时Master上jps没有Datanode解决方法

最新推荐文章于 2024-03-11 17:26:51 发布
最新推荐文章于 2024-03-11 17:26:51 发布
阅读量2.5k 收藏 9
点赞数 1
文章标签： hadoop 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55501516/article/details/121086953
版权

问题：Hadoop的五个分布式环境文件都修改好了，但在Master节点上jps的时候不出现datanode，格式化namenode ：hadoop namenode -format 也没有效果。

分析：在之前配置分布式环境文件的时候产生过一个hadoop/tmp 日志文件，需要删除

解决方法：关掉Hadoop进程：stop-dfs.sh 或关闭所有进程 stop-all.sh ,进入hadoop安装路径把整个tmp文件夹删掉：rm -rf /usr/local/hadoop/tmp，新建一个tmp文件夹mkdir tmp。然后格式化hadoop namenode -format，一般就解决了，但为了保险起见可以再格式化datanode，同理用hadoop datanode -format

一定要先关闭Hadoop进程！！！

梦想是游世界.
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
伪分布式基于hadoop3.1.3生态环境大数据集群
06-15
1.本机虚拟机镜像为ova格式，大小为2.9G，仅限VirtualBox使用，本机无图形界面！请注意！ 2.本机为ubuntu16.04服务器版本，无图形化界面，剔除无用冗杂的三方软件，速度更快。 hadoop=3.1.3 jdk=1.8.0_162 hbase=2.2.2 mysql=5.7.3 hive=3.1.2 scala=2.11.12 spark=2.4.0 sbt=1.3.8 flink=1.9.1 maven=3.6.3 建议配合主机的IntelliJ-IDEA的Bigdata拓展工具以及SSH服务进行远程操控使用。 3.本机密码都是“hadoop”。 4.mysql5.7用户名为"root"，密码为"hadoop"。 5.使用hadoop集群前，需要根据本地虚拟机的IP地址修改/etc/hosts文件中的host配置。
hadoop—jps执行后缺少DataNode的解决办法
热门推荐
donoot的博客
11-18 1万+
jps执行后缺少DataNode的解决办法 之前，centos6.10里面安装了hadoop2.5.0，伪分布式配置好后，正常工作，后由hadoop版本2.5.0，换到hadoop版本2.9.2，将原来2.5.0里的配置复制到2.9.2，原来的环境配置保持不变，使用2.9.2的文件重新格式化namenode后，重新开启hadoop，jps命令显示缺失datanode。 查询资料，看到有解释是因为多次namenode格式化，造成name和data的ID号有变化，造成启动不了。 经测试可删除dsf目录下所有文件
Hadoop伪分布式配置--没有DataNode或NameNode
最新发布
qq_62846665的博客
03-11 610
1、输入格式化NameNode命令，找到data和name存放位置。2、删除data或name（没有哪个删哪个）3、重新格式化NameNode。重复格式化NameNode。
hadoop常见错误以及处理方法详解
01-20
1、hadoop-root-datanode-master.log 中有如下错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有
大数据平台常见面试题.pdf
12-24
⼤数据平台常见⾯试题 第1部分 申请ID.. 3 第2部分 部署kafka. 4 2.1 部署86节点kafka. 4 2.2 配置86节点zookeeper. 5 2.3 部署87节点kafka. 5 2.4 配置87节点zookeeper. 5 第3部分 启动zookeeper. 5 3.1 启动86节点启动zookeeper-1服务... 5 3.2 启动87节点启动zookeeper-2、zookeeper-3服务... 6 第4部分 启动kafka. 6 4.1 启动86节点kafka服务... 6 4.2 启动87节点kafka服务... 6 第5部分 创建topic. 7 5.1 测试Topic（可选）... 7 5.2 创建⽣产的topic. 7 第1部分 选择题 1.1 Hadoop选择题 1.1.1 Hdfs 1. 下⾯哪个程序负责 HDFS 数据存储？ a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存⼏份？ a)3份 b)2份 c)1份 d)不确定 3. 下列哪个程序通常与NameNode 在⼀个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 注：haoop1.X 分析： hadoop 的集群是基于 master/slave 模式，namenode 和 jobtracker 属于 master，datanode 和 tasktracker属于 slave，master 只 有⼀个，⽽ slave 有多个。SecondaryNameNode 内存需求和 NameNode 在⼀个数量级上，所以通常 secondary NameNode（运⾏在 单独的物理机器上）和 NameNode 运⾏在不同的机器上。 JobTracker 和 TaskTracker JobTracker 对应于 NameNode TaskTracker 对应于 DataNode DataNode 和 NameNode 是针对数据存放来⽽⾔的 JobTracker 和 TaskTracker 是对于 MapReduce 执⾏⽽⾔的 mapreduce 中⼏个主要概念，mapreduce 整体上可以分为这么⼏条执⾏线索： jobclient，JobTracker 与 TaskTracker。 1、JobClient 会在⽤户端通过 JobClient 类将应⽤已经配置参数打包成 jar ⽂件存储到 hdfs，并把路径提交到 Jobtracker,然后由 JobTracker 创建每⼀个 Task（即 MapTask 和 ReduceTask）并将它们分发到各个 TaskTracker 服务中去执⾏ 2、JobTracker 是⼀个 master 服务，软件启动之后 JobTracker 接收 Job，负责调度 Job 的每⼀个⼦任务 task运⾏于 TaskTracker 上，并监控它们，如果发现有失败的 task 就重新运⾏它。⼀般情况应该把 JobTracker 部署在单独的机器上。 3、TaskTracker 是运⾏在多个节点上的 slaver 服务。TaskTracker 主动与 JobTracker 通信，接收作业，并负责直接执⾏每⼀个任务。 TaskTracker 都需要运⾏在 HDFS 的 DataNode 上 4. HDFS 默认 Block Size a)32MB b)64MB c)128MB 注：旧版本是64MB 5. Client 端上传⽂件的时候下列哪项正确 a)数据经过 NameNode 传递给 DataNode b)Client 端将⽂件切分为 Block，依次上传 c)Client 只上传数据到⼀台 DataNode，然后由 NameNode 负责 Block 复制⼯作 分析： Client 向 NameNode 发起⽂件写⼊的请求。 NameNode 根据⽂件⼤⼩和⽂件块配置情况，返回给 Client 它所管理部分 DataNode 的信息。 Client 将⽂件划分为多个 Block，根据 DataNode 的地址信息，按顺序写⼊到每⼀个 DataNode 块中。 6. 下⾯与 HDFS 类似的框架是？C A NTFS B FAT32 C GFS D EXT3 7. 的 8. 的 1.1.2 集群管理 1. 下列哪项通常是集群的最主要瓶颈 a)CPU b)⽹络 c)磁盘 IO d)内存 解析： 由于⼤数据⾯临海量数据，读写数据都需要 io，然后还要冗余数据，hadoop ⼀般备 3 份数据，所以 IO
CDH5.11安装文档
11-14
CDH5.11.1安装教程 第一部分：基础软件安装 1.1集群规划 主机节点 服务 主机名称 硬件资源 172.30.5.243 namenode,zookeeper, HMaster,kafka,spark, elasticsearch master 内存：64GB 硬盘：7T 172.30.5.244 secorndaryNameNode,datanode,zookeeper,kafka, HRegionServer,spark, elasticsearch slave1 内容：32GB 硬盘：10T 172.30.5.245 datanode,zookeeper,kafka, HRegionServer,storm,spark, elasticsearch slave2 内容：32GB 硬盘：10T 172.30.5.246 datanode, HRegionServer,storm,spark, elasticsearch slave3 内容：32GB 硬盘：10T 172.30.5.247 datanode, HRegionServer,storm,spark, elasticsearch slave4 内容：32GB 硬盘：10T 1.2环境配置 1.2.1全局用户创建 创建hadoop用户：useradd hadoop 创建hadoop密码: passwd hadoop 按提示两次输入:hadoop 将hadoop用户加入sudu配置文件 [root@localhost ~]# chmod u+w /etc/sudoers [root@localhost ~]# vi /etc/sudoers 添加 hadoop ALL=(ALL) ALL
解决Hadoop完全分布式集群中从节点jps没有datanode节点问题
木子一个Lee的博客
10-23 7930
也是进入这个目录，只不过namenode中的name文件在datanode是变为了data文件，即/tmp/dfs/data/current。当用start-dfs.sh和start-yarn.sh后，在slave节点(从节点)中用jps命令查看进程。有时候可能发现没有Datanode，即只有两项(第一项和最后一项)。clusterID替换掉datanode的clusterID就可以了。然后打开VERSION，把namenode的。打开，记录namedode下的。
Hadoop | 解决启动Hadoop集群，DataNode不存在的问题
martinniee
01-10 4204
问题描述 1.使用 ./sbin/start-all.sh启动Hadoop集群，过程中DataNode没有启动 2.使用jps查看进程时，没有DataNode节点 在此需注意Hadoop集群是如何搭建的 本实验是使用(伪分布式) 1.Master节点 其他节点在Master节点中 2.Slave节点 DataNode在Slave节点中 可用方案 网上可用方案，及其原因分析是 原因1 多次格式化nameNode节点 (hadoop namenode -format),是NameNode和DataNod
解决Hadoop伪分布式集群jps没有datanode节点问题
sunzhipan11的博客
08-10 9889
解决Hadoop伪分布式集群没有datanode节点问题
解决Hadoop伪分布式下datanode不出现得情况
weixin_44838902的博客
05-17 3475
2019.5.17 Hadoop伪分布式环境文件都配置好了，jps的时候不出现datanode，一开始我采用的方法就是不断格式化Hadoop namenode -format 然而没什么效果甚至还会消失之前出的几个节点。在之前配置文件的时候产生过一个Hadoop/tmp文件（这里是指第一个Hadoop文件夹），我把这个tmp文件夹删掉rm -rf tmp，然后在原来的地方重新建一个tmp文件夹mk...
Hadoop伪分布式环境datanode进程没有
疯子的博客
10-25 2383
摘要 jps查看当前进程，发现缺少了DateNode进程 这个一般是因为namenode进行了多次的格式化，导致namenode的clusterID和datanode的clusterID不同。 解决办法 让这两个一样呗 步骤 1.进入etc/hadoop目录下打开core-site.xml,查看你的文件所在的目录 2.关闭当前的hadoop； $HADOOP_HOME/sbin/stop-al...
Hadoop大数据平台构建、规划大数据平台集群教学课件.pptx
06-21
规划Hadoop大数据平台集群 Hadoop集群的三种模式 单机模式 在单机上运行。 没有分布式文件系统，直接读写本地操作系统。 伪分布模式 在单机上运行。 使用分布式文件系统。 hadoop集群只有一个节点，因此hdfs的块复制将限制为单个副本。 在单个节点上运行NameNode、DataNode、JobTracker、TaskTracker、SeconderyNameNode 这5个进程。 完全分布模式 在多个节点上运行。 使用分布式文件系统。 在不同的节点上运行NameNode、DataNode、JobTracker、TaskTracker、SeconderyNameNode 这5个进程中的某几个。 在一台服务器上使用虚拟机软件虚拟所有的节点，也属于完全分布模式，在一些数据量比较少的公司集群就是这样部署的。 完全分布模式Hadoop大数据平台集群 - 服务器角色规划 Master （IP：192.168.128.128） Slave1 （IP：192.168.128.129） Slave2 （IP：192.168.128.130） NameNode SecondaryNameNo
Centos7 + Hadoop3 搭建伪分布式集群
01-07
hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;...
Hadoop单机、伪分布式、分布式集群安装教程
04-16
haodop超详细安装教程：包含jdk配置，ssh免密登录以及单机版hadoop安装配置、伪分布式hadoop安装及配置，以及分布式集群安装配置。
hadoop cdh版本伪分布式集群搭建图文教程
08-18
hadoop cdh版本伪分布式集群搭建详细图文教程
Hadoop集群datanode磁盘不均衡的解决方案
01-29
Hadoop的HDFS集群非常容易...因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与
hadoop伪分布式如何解决datanode移失问题
qq_40564681的博客
07-23 531
问题描述：在hadoop伪分布式，在运行完在JPS后，无法启动或者未出现datanode 原因分析：多次格式化NameNode（./bin/hdfs namenode -format），导致NameNode与DataNode的namespaceID 不一致，从而导致namenode和 datanode的断连 解决办法：进入usr>local>hadoop目录下，找到tmp ...
伪分布式搭建Hadoop中消失的“DataNode”
m0_74949561的博客
03-05 832
我们在搭建hadoop中都会出现一些小小的问题，在伪分布式安装完Hadoop后，jps查看进程的时候缺三少两，今天解决的问题是6个进程中缺少了DataNode。
master节点无法启动namenode，datanode问题
qq_45315614的博客
10-24 3790
格式化出错是搭建Hadoop环境最容易出现的问题，很多小伙伴都头疼不已，一言不合就从头开始也太难了吧！博主千锤百炼终于找到了不用从投开始就能快速解决的办法，来看看吧~ 1.jps没有出现datanode的问题 这个比较简单了，一般就是你的slave文件出错了。启动集群的时候，slave文件的主机名称与你实际主机的名称不一致导致的。 首先确定slave文件的位置 我是在/home目录下创建了hadoop文件然后在hadoop文件下创建了apps文件用于放我要解压的文件，总之找到你解压后的Hadoop文件位置就
配置开发环境 - Hadoop安装与伪分布式集群搭建
03-28
在进行Hadoop开发前，需要先配置好Hadoop的开发环境，包括安装Hadoop和搭建伪分布式集群。以下是Hadoop安装和伪分布式集群搭建的步骤： 1. 下载Hadoop 在Hadoop官网下载最新版本的Hadoop压缩包。当前最新版本是3.3.1。 2. 解压缩Hadoop 将下载的Hadoop压缩包解压缩到本地目录，比如/opt/hadoop。解压缩后，会得到一个hadoop-3.3.1目录。 3. 配置Hadoop环境变量 在~/.bashrc文件中添加以下内容： export HADOOP_HOME=/opt/hadoop/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin 然后执行source ~/.bashrc，使配置生效。 4. 配置Hadoop 进入Hadoop的安装目录，修改配置文件。以下是必须修改的配置文件： - core-site.xml 在Hadoop安装目录的/etc/hadoop/目录下，创建core-site.xml文件，并添加以下内容： <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 这个配置指定了Hadoop的默认文件系统为HDFS，并且HDFS的访问地址为localhost:9000。 - hdfs-site.xml 在Hadoop安装目录的/etc/hadoop/目录下，创建hdfs-site.xml文件，并添加以下内容： <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 这个配置指定了HDFS的副本数为1。 - mapred-site.xml 在Hadoop安装目录的/etc/hadoop/目录下，创建mapred-site.xml文件，并添加以下内容： <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 这个配置指定了MapReduce的框架为YARN。 - yarn-site.xml 在Hadoop安装目录的/etc/hadoop/目录下，创建yarn-site.xml文件，并添加以下内容： <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> 这个配置指定了NodeManager的辅助服务为mapreduce_shuffle，并且指定了ShuffleHandler类。 5. 格式化HDFS 在Hadoop安装目录下，执行以下命令： $ hdfs namenode -format 这个命令会格式化HDFS，清空HDFS中的所有文件。 6. 启动Hadoop 在Hadoop安装目录下，执行以下命令： $ start-all.sh 这个命令会启动Hadoop的所有组件，包括NameNode、DataNode、ResourceManager、NodeManager等。 7. 验证Hadoop是否正常工作 在浏览器中访问http://localhost:8088/，可以看到YARN的Web界面。在浏览器中访问http://localhost:50070/，可以看到HDFS的Web界面。 至此，Hadoop的安装和伪分布式集群搭建完成。可以开始进行Hadoop的开发了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值