hadoop的dataNode节点挂了,HRegionServer的工作情况,是否需要停下

最新推荐文章于 2021-12-07 20:00:00 发布
最新推荐文章于 2021-12-07 20:00:00 发布
阅读量1.4k 收藏
点赞数
文章标签： dataNode挂了一个节点 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29667805/article/details/82227987
版权

从日志可以看出,hbase是正常工作的;正常的flush数据.

下面我们从技术的角度来分析一下:

首先我们dead的节点是一个单一dataNode节点,在这个节点上面的进程如下:

[ocetl@cs-clnode-a25 ~]$ jps
9248 Jps
24458 HRegionServer
23726 NodeManager
[ocetl@cs-clnode-a25 ~]$ 

首先要明白的是,hbase的数据是flush到hdfs上面的,hdfs是以集群形式存在的,down了一个dataNode还有其他的节点

所以此时dataNode挂了,最直白的说就是,hdfs少了一个存储空间dataNode.对hbase不影响的

 

 

济宁小图
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
异构资源环境下Hadoop节点能力自适应调度算法
04-30
为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足，提出了一种基于节点能力的自适应调度算法NCAS（node capacity adaptive scheduling）。首先，NCAS算法根据节点性能、任务特征计算得到调度因子；...
Hadoop datanode启动失败：Hadoop安装目录权限的问题
07-29
Hadoop datanode启动失败：Hadoop安装目录权限的问题
hadoop运行时datanode突然挂掉
分布式应用与服务器架构专栏
10-31 7382
今天检查发现有台datanode的节点挂掉，报错信息如下： 2012-10-31 01:06:37,661 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.2.29:50010, storageID=DS-257855051-192.168.2.29-50 010-134786
【Hadoop】RegionServer详解
热门推荐
_朝和
12-30 1万+
RegionServer是HBase中最主要的组件,本文对RegionServer中的组件和机制进行较为详细地讲解
hadoop hdfs datanode 数据迁移
槿之
09-18 3776
定位思路        先将集群停止，然后准备好新的存储目录，再将数据复制到新的目录中，重启集群。 处理步骤        假设HDFS的默认安装目录为“/dfs/dn”，需要移动目录到“/home/dfs/dn”中。        1.登录cdh manager，停止hdfs集群        2.在home目录下创建 dfs/dn 目录        cd /home      ...
linux安装hadoop和hbase之后jps无datanode的原因及解决办法
dream_to_dream的博客
05-09 2132
1.出现状况 安装hadoop和hbase之后不能启动datanode，同时浏览器也不能访问hbase，在浏览器中输入localhost:16010显示web页面无效，在hbase shell 下不能正常的使用hbase下面的shell命令，导致不能建表等问题。 2.分析原因 因为我门在配置hadoop过程中，因为多次格式化namenode所致，导致namenode的namespaceID和datanode下的namespaceID不一致造成。 当我们执行文件系统格式化时，会在namenode数据文件夹（
Hadoop datanode挂掉了
weixin_43481376的博客
03-18 1435
今天和往常一样想启动Hadoop跑一下mapreduce，结果一开就报错。查看jps发现两slave的datanode都挂掉了，当时脑子一抽就格式化，后来才想起每次格式化后新的currentID跟旧的不一样。得把master /hmoe/hadoop/tmp/dfs/current/下的Version文件内的currentID覆盖2台slave机上的dfs.data.dir的Version。。。...
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
Hadoop datanode重新加载失败无法启动解决.docx
09-26
（1）首先停掉namenode上相关的进程：切换到hadoop的/sbin目录下，执行sh stop-dfs.sh和sh stop-yarn.sh命令。 （2）切换到hadoop的相应/current目录下，将current下的所有文件清除。 （3）将datanode与namenode的...
HBase1.2.4网络彻底瘫痪，怎么样关闭服务呢？一台一台关闭吗？Hadoop的dataNode是否受影响！！
爱我中华之笔耕不缀！
02-27 619
近日搭建起了完全分布式的HBase1.2.4环境，环境如下：   |----------------------------------------------------------------------------------------------------|       | 133.16.157.35           master           namenode   
HDFS Namenode挂掉后分析解决
赵广陆
12-07 2625
目录1 分析2 单节点挂掉数据恢复3 内存溢出 1 分析 挂掉后首先肯定是进行重启,如果时间段比较高峰期,肯定要快速移动文件进行复原,等错过高峰进行事故分析! 2 单节点挂掉数据恢复 方法一：将SecondaryNameNode中数据拷贝到namenode存储数据的目录； 方法二：使用-importCheckpoint选项启动namenode守护进程，从而将SecondaryNameNode中数据拷贝到namenode目录中。步骤如下：拿一台和原来机器一样的机器，包括配置和文件，一般来说最快的是拿你节点机
HRegionServer的详解
Star-Technology
06-08 9845
Point 1： HRegionServer一般和DataNode在同一台机器上运行，实现数据的本地性。Point 2： HRegionServer包含多个HRegion，由WAL(HLog)、BlockCache、MemStore、HFile组成。1.WAL即Write Ahead Log，在早期版本中称为HLog，它是HDFS上的一个文件，如其名字所表示的，所有写操作都会先保证将数据写入这个
Hadoop3.2.0 HDFS DataNode管理员指南
张伯毅的专栏
02-20 8201
概观 主机级设置 仅限主机名配置 基于JSON的配置 群集级别设置 度量 概观 Hadoop分布式文件系统（HDFS）名称节点维护所有数据节点的状态。有两种类型的状态。第一种类型描述了datanode的活跃性，指示节点是活的，死的还是陈旧的。第二种类型描述了管理状态，指示节点是在服务中，退役还是在维护中。 当管理员停用datanode时，datanode将首先转换为DECOMM...
单独启动hadoop datanode和hbase regionserver
不厚道青蛙之焦油潭
02-24 3009
全部启动  ./hadoop-daemons.sh start datanode ./hbase-daemons.sh start regionserver 单独启动  ./hadoop-daemon.sh start datanode ** ./hbase-daemon.sh start regionserver **
hdfs datanode节点死掉
weixin_38374023的博客
03-28 5966
1 现象一个节点dead，日志如下： GC pool 'PS MarkSweep' had collection(s): count=13 time=24256ms 2018-03-28 17:52:51,624 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: opWriteBlock BP-229667812-10.100.208.
hadoop HA中active节点挂掉standby节点不自动切换问题
weixin_34258838的博客
10-31 1557
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop中datanode无法启动
zq627271551的专栏
12-08 1069
在配置过程中，从原来的一个主节点，一个从节点的hadoop集群，增加了一个从节点。但是在启动过程中总是有一个节点的datanode可以启动而另一个节点的无法启动，而且每次在主节点start-all.sh时，从节点的jps都可以看到datanode之后，datanode又瞬间被关闭。网上找了一点资料之后总结如下： 首先需要关闭所有节点的防火墙： sudo ufw disable 然后，删除
Hadoop: 启动挂掉了的数据节点
amadeus_liu2的博客
04-06 221
sbin/hadoop-daemon.sh start datanode
Hadoop挂掉一些节点如何启动
虾哔哔的博客
03-10 1751
sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/hadoop-daemon.sh start zkfc bin/hdfs haadmin -transitionToActive nn1 hbase-daemon.sh start regionserver
hadoop没有datanode节点
最新发布
03-16
2. Datanode节点出现故障：如果Datanode节点出现故障，可能会导致它无法正常工作，从而导致Hadoop没有Datanode节点。 3. 网络问题：如果网络出现问题，可能会导致Datanode节点无法与其他节点通信，从而导致Hadoop...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值