搭建集群后再namenode上查看进程发现除了三个基本进程还可能有别的进程，例如本来在子节点出现的进程出现在了主节点上

最新推荐文章于 2023-12-11 22:46:17 发布
最新推荐文章于 2023-12-11 22:46:17 发布
阅读量823 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop集群搭建 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yoghurt2016/article/details/52423793
版权

搭建集群后再namenode上查看进程发现除了三个基本进程还可能有别的进程，例如

本来在子节点出现的进程出现在了主节点上，namenode按正常来说是有三个进程

的：namenode，resourcemanager，secondarynamenode，子节点上有两

个进程：nodemanager，datanode，但是可能会出现本来出现在子节点上的进程

出现在主节点上了，如下


 （请忽略3123进程）

刚开始我也有点懵，后来想了想发现，额。。搭好伪集群的时候忘记stop进程了啊。。。

yoghurt2016
关注
专栏目录
Ubuntu搭建Hadoop集群的详细操作流程
weixin_46128342的博客
04-29 1万+
Ubuntu搭建Hadoop集群的详细操作流程 一、准备工作 若还没安装虚拟机可参考：VMVMware14虚拟机安装程 没安装Ubuntu的可参考：Ubuntu的安装教程 Haddop的下载可以到https://mirrors.cnnic.cn/apache/hadoop/common/ 这个网址下载，下载的时候版本是选择Hadoop2.x.版本。格式文件选择hadoop-2.x.y.tar.g...
在Linux的Centos6.5搭建hadoop集群环境
superXZT的博客
10-08 411
Centos6.5搭建hadoop集群环境 先概括一下整体思路 安装centos6.5主机 关闭防火墙和selinux 配置网络 时间同步 ssh无密码登录设置 安装jdk 安装hadoop 启动 wordcount测试 安装centos6.5主机 使用vmware创建三台centos操作系统 本人的三台主机名与IP如下： master              192.16...
linux 查看namenode进程是否存活：返回namenode进程个数
学亮编程手记
06-08 772
返回namenode进程个数，为1表示存活： ps -ef | grep "namenode" | grep -v "grep" | wc -l
datanode和namenode几种重要jps进程的简单介绍
总分全班第一
10-26 974
1，Namenode和SecondaryNameNode: NameNode简称NN,SecondaryNameNode简称SNN, （1）NN是名字节点，是HDFS的主从架构的主的扮演者，相当于HDFS的大脑，维护整个文件系统的目录树，以及目录树的所有文件和目录，他们以两种文件存储在本地文件FSImage和edit log, FSImage称为命名空间镜像也叫文件系统的镜像（File Syste...
Hdfs之SecondaryNameNode
prettyEva的博客
03-10 876
概述　　启动集群Hdfs（start-dfs.sh）之后，查看进程（jps）会在master节点上看到，除了namenode进程之外还会有个secondarynamenode进程，从字面上看，很多人会把他当做namenode的“二把手”，当做namenode的备份进程之类的，但实际上他与namenode担任的是不同的角色。主要工作内容　　要说secondarynamnode的工作内容，需要回顾一下他
单节点下NameNode进程无法启动
zhikanjiani的博客
09-10 1027
背景：学习了若泽大数据，近期又在重新回顾一遍： **问题：**使用start-dfs.sh启动后，jps查看并没有NameNode进程。 解决： 第一步：定位到日志文件 既然NameNode进程没看见启动，我们就要去查找原因，进入到记录NameNode、DataNode、SecondaryNameNode这三个进程的文件中，查看NameNode的近200行日志。 记录三进程的日志目录在启...
复习Hadoop基础，集群的启动以及信息查看
qq_45450889的博客
02-14 394
哦头大哦真是，距离课程结束一年多了，连集群都忘记怎么启动了wuwuw Hadoop的优势： 高可靠： 数据不会丢失（数据副本） 高扩展： 多个集群超多个节点 高容错： 任务出错中断了 也还会再重新执行 Hadoop组成 Yarn：负责资源调度分配 MapReduce：负责计算 Hdfs ： 文件存储系统 Hadoop运行模式 本地模式 伪分布式 完全分布式 环境搭建：Hadoop本地模式安装和分布式模式安装详细步骤 ...
Hadoop是做什么的，hadoop集群搭建作用
大数据基础框架学习教程汇集
01-30 6098
目的 本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。 如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。 更多精彩内容 精彩内容点我学 先决条件 确保在你集群中的每个节点上都安装了所有必需软件。 获取Hadoop软件包。 安装 安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。 通常...
Hadoop集群搭建教程（奶妈保姆级别，超级详细）
最新发布
weixin_44041968的博客
12-11 166
命令：rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64。上传完毕后，输入命令tar -zxvf jdk-8u181-linux-x64.tar.gz -C /export/servers/进行解压安装jdk。先切换到这个目录下，使用命令：cd /export/servers/hadoop/etc/hadoop/切换之后就可以开始配置了。设置好ROOT密码后，密码一定记住别忘记了，后续会用到。
一步一步学习搭建搭建Hadoop集群
hbshen5536_126的博客
04-26 185
一、准备工作 准备三台linux服务器，虚拟机也可以（我用的是Centos6.5 64Bit) 1.1在正式安装前先装一个小工具，lrzsz-0.12.21-15-mdv2011.0.x86_64.rpm ，安装命令是：rpm -ivh lrzsz-0.12.21-15-mdv2011.0.x86_64.rpm。这个工具安装完成后，可以直接将Windows上的文件拖拽到Linux服务器上，也可用r...
HDFS中的SecondaryNameNode节点解析
xhh198781的专栏
11-25 5669
大家都知道，在HDFS的集群中有三类节点：NameNode、SecondaryNameNode和DataNode，同时在集群中只有一个NameNode节点，一个SecondaryNameNode节点，剩余的就都是DataNode节点(当然，集群中也可以同时存在多个SecondaryNameNode节点，但这没多大必要，反而会增加NameNode节点的压力，使其忙于元数据的传输与接收、日志的传输与切
hadoop 端口总结
weixin_30699443的博客
06-14 115
localhost:50030/jobtracker.jsp localhost:50060/tasktracker.jsp localhost:50070/dfshealth.jsp 1. NameNode进程 NameNode节点进程 – 运行在端口9000上 INFO org.apache.hadoop.hdfs.server.namenode.NameNode...
HDFS详解
weixin_45555360的博客
08-24 934
技术细节 一、HDFS的架构图 二、Block 数据块（Block）是HDFS中数据的最基本的存储单位 当在HDFS上存储超大文件时，HDFS会以一个标准将文件切分成几块，分别存储到不同的节点上，切出的数据就称为Block Block 默认的大小在Hadoop1.0中是64M，在Hadoop2.0中是128M 切块的优点： 文件块可以保存在不同的节点上，能够存储超大2文件 ...
搭建hadoop集群初次格式化namenode时不小心格式化了多次，主节点namenode或者从节点datanode进程不能启动，怎么办？
qq_58281481的博客
09-21 7831
我们在格式化时hadoop集群时，不小心格式化多次，就会导致主从节点之间互相不识别。然后导致启动hadoop集群时，主节点的namenode进程可能不会启动或者从节点的datanode可能不会启动。
hadoop启动后通过jps查看进程datanode或namenode不存在问题解决
热门推荐
一轮明月半城沙
03-02 3万+
最近学习hadoop集群，在配置好集群文件通过start-all.sh启动hadoop,然后jps查看进程，正常情况下会看到 [root@master sbin]# jps 5694 SecondaryNameNode 6070 Jps 5384 NameNode 5527 DataNode 5848 ResourceManager 59
namenode启动开启了那些任务线程
jlins_you的专栏
04-17 189
第一类：后台任务线程   Java代码    org.apache.hadoop.hdfs.server.namenode.PendingReplicationBlocks$PendingReplicationMonitor   org.apache.hadoop.hdfs.server.namenode.FSNamesystem$Heart...
Hadoop的多节点集群启动，唯独没有namenode进程？（血淋淋教训，一定拍快照）（四十五）...
weixin_34292287的博客
03-15 979
    　　前言 　　　　大家在搭建hadoop集群时，第一次格式化后，一路要做好快照。别随便动不动缺少什么进程，就来个格式化。         　　问题描述：启动hadoop时报namenode未初始化：java.io.IOException: NameNode is not formatted. 　　　　　　　同时，若单独启动namenode，则出现，启动后一会儿，自行又消失...
hadoop集群启动yarn之后查看resourcemanager状态出现两个standby、nodemanager启动一段时间自动关闭、连接拒绝情况解决办法
lxy_1204的博客
12-19 9180
hadoop集群启动yarn之后查看resourcemanager状态出现两个standby、nodemanager启动一段时间自动关闭、连接拒绝情况解决办法 问题描述： 1. 查看RM(resourcemanager)状态bin/yarn rmadmin -getServiceState rm1、bin/yarn rmadmin -getServiceState rm2----出现都为sta...
MapReduce 中和 NameNode/DataNode 在同一个节点启动的进程
06-05
而在MapReduce中，有一些进程也会和NameNode/DataNode在同一个节点启动，这些进程包括： 1. JobTracker：JobTracker是MapReduce中的一个重要组件，它负责协调MapReduce任务的执行。JobTracker通常会和NameNode在同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值