Hadoop之机房down机后...

最新推荐文章于 2021-09-05 17:22:17 发布
最新推荐文章于 2021-09-05 17:22:17 发布
阅读量6.4k 收藏 1
点赞数 1
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qianshangding0708/article/details/47721091
版权
在公司机房断电后，测试环境的Hadoop集群遭遇数据丢失。重启后，Hadoop进入安全模式进行自检。NameNode加载fsimage并等待DataNode报告块信息，当大部分Block汇报完成，NameNode离开安全模式。部分Block无法恢复，可通过特定命令删除损坏文件。
摘要由CSDN通过智能技术生成

由于公司机房异常断电，导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后，访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html
提示：

NameNode is still loading. Redirecting to the Startup Progress page.

如图：


这个不是错误。因为hadoop启动时，会进入安全模式进行自检，自检完毕就好了。

下面来看看NameNode重启的状态变化：

NameNode启动，集群将处于安全模式。
查看集群的状态：

[hduser@hadoop0 bin]$ hdfs dfsadmin -safemode get
Safe mode is ON



HDFS中任何文件，目录和Block都被表示为一个对象存储在NameNode的内存中。该对象占用150 bytes的内存空间。在NameNode启动的时候，NameNode加载fsimage（Filesystem image：文件meta信息的持久化的检查点）文件到内存中，然后在editlog中执行相应的操作。加载fsimage文件包含文件metadata信息，但是不包含文件块位置的信息。
<

最低0.47元/天 解锁文章
qianshanding0708
关注
专栏目录
hadoop断电数据丢失恢复之郴(chen)州
浏阳河
01-21 2681
在牛逼的项目也扛不住，断电断网的折腾，果断数据丢失，恢复重启。  1. 项目中hadoop可以正常启动，但是hbase不能启动了，但是hbase的master可以单独启动的。 2.先看看 hadoop管理界面吧： 从这里看使用数据块的丢失，再“hadoop fsck /” ，没错31个blocks corrupt了。 3.再看看 “hbase hbck” ： 4.怎么办呢
hbase集群断电数据被破坏无法启动
xx7330842的专栏
10-26 3755
集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。 在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进
hadoop 断电宕机处理
大数据技术杂谈
08-18 2792
由于公司机房异常断电，导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后，访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html 提示： [Bash shell] 纯文本查看 复制代码 01 NameNode is still loading. Redirecting to the Sta
hadoop基础----hadoop实战(十三)-----hadoop管理工具---断电后重启CDH集群步骤
直到世界的尽头
05-02 4649
我们在CDH集群运维过程中，偶尔会遇到机房突然断电的情况，我们来梳理下遇到机房断电之后的CDH集群恢复步骤，以免无从下手。在调试CDH集群之前，肯定需要先重启好服务器，以及确保他们的网络畅通。下面记录恢复CDH集群的步骤:首先需要启动CDH的server服务,并查看状态sudo /etc/init.d/cloudera-scm-server start sudo /etc/init.d/cloude
Hadoop之HDFS命令
qianshanding0708的博客
08-19 5756
概述 所有的HDFS命令都调用bin/hdfs脚本文件，如果运行hdfs脚本没有带任何参数的话，则打印所有命令的描述。   使用: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop是一个参数解析框架，采用解析泛型选项以及运行类。 命令参数 描述 --config--loglevel ...
hadoop集群硬盘损坏_Hadoop集群datanode磁盘不均衡的解决方案
weixin_39927059的博客
12-19 302
一、引言：Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。二、问题：因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop...
spark、hadoop、storm、solr、es在车辆分析上的分析与比较
muyannian的专栏
03-12 7018
自2012年以来，公安部交通管理局在全国范围内推广了机动车缉查布控系统（简称卡口系统），通过整合共享各地车辆智能监测记录等信息资源，建立了横向联网、纵向贯通的全国机动车缉查布控系统，实现了大范围车辆缉查布控和预警拦截、车辆轨迹、交通流量分析研判、重点车辆布控、交通违法行为甄别查处及侦破涉车案件等应用。在侦破肇事逃逸案件、查处涉车违法行为、治安防控以及反恐维稳等方面发挥着重要作用。 随着联网单位和
24.企业级调度器LVS
qq_39544887的博客
03-14 1299
1 集群和分布式 系统性能扩展方式： Scale UP：垂直扩展，向上扩展,增强，性能更强的计算机运行同样的服务 Scale Out：水平扩展，向外扩展,增加设备，并行地运行多个服务调度分配问题，Cluster 垂直扩展不再提及： 随着计算机性能的增长，其价格会成倍增长 单台计算机的性能是有上限的，不可能无限制地垂直扩展 多核CPU意味着即使是单台计算机也可以并行的。那么，为什么不一开始就并行化技术？ 1.1 集群 Cluster Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系
机房hadoop集群部署
06-06
机房hadoop集群部署
hadoop多数据中心灾备
07-26
The basis of this solution is to have one or more mirror Hadoop clusters which will be continuously updated with the data from the primary cluster in either a synchronous method or an asynchronous method by utilizing and improving the existing HA feature, data block replication and data block pipelining. In this solution, we support both synchronously writing and asynchronously replication across datacenters for both namespace and data block.
CDH大数据节点宕机测试
欢迎来到李奇峰的数据世界
05-25 966
一、集群现状 集群组件说明：目前集群中安装了若干大数据相关组件，包括HDFS、Hbase、Hive等存储相关组件与Flume、Spark、Kafka等数据采集与处理相关组件。 集群主机说明：目前集群中有5台主机，为同一台宿主机上的5台虚拟机。为确保HDFS副本正常分布，故主机cdh1、cdh2、cdh3的机架设置为“test1”，cdh4、cdh5的机架设置为“test2” 注：Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为: 第一个副本放在其中一台节点中 第
CDH集群主节点宕机恢复
weixin_30375427的博客
09-30 887
1 情况概述 公司的开发集群在周末莫名其妙的主节点Hadoop-1的启动固态盘挂了，由于CM、HDFS的NameNode、HBase的Master都安装在Hadoop-1，导致了整个集群都无法使用，好在数据不在启动盘。 Hadoop-1的系统必须重装，但是不能重装集群，因为要将之前的数据全部保留恢复，所以只能通过集群恢复的手段将集群重新跑起来。 主要服务角色安装情况： Hado...
hadoop 异常 问题解决：NameNode is still loading. Redirecting to the Startup Progress page
fuyun6363的博客
09-05 2585
环境：apache hadoop 3.2.2 、机器发生重启，集群异常关闭 现象：重启hdfs和yarn服务，底层namenode和datanode都没有报错，但是在namenode的web ui上报错 这种一般发生在一个namenode挂掉之后，隔一段时间重启，那么这个重启namenode需要加载到最新的fsimage，这种情况就是正常的，根据fsimage大小，加载的时间长短也是不一样的。 如果加载很慢，修改hadoop-env.sh,对其参数进行内存调优 # 扩大一下2个参数的jvm使用内存，原来
NameNode is still loading. Redirecting to the Startup Progress page.
qq_42444621的博客
08-02 1304
解决办法：(1)通过IP进行访问 例如：123456：aa 123456---------------------外网IP aa----------------------------本地映射 通过 http://123456:50070进行访问                  (2)删除浏览器的历史记录 原因：未解    ...
centos7上配置好hadoop后报：NameNode is still loading. Redirecting to the Startup Progress page的问题
hsg77的专栏
07-10 6897
centos7上配置好hadoop后web显示信息问题： NameNode is still loading. Redirecting to the Startup Progress page. 集群启动正常，日志没有报错，但是http://192.168.145.200:9870/dfshealth.html#tab-overview 一直提示“NameNode is still loadi...
Hadoop之YARN命令
热门推荐
qianshanding0708的博客
08-11 2万+
概述 YARN命令是调用bin/yarn脚本文件，如果运行yarn脚本没有带任何参数，则会打印yarn所有命令的描述。 使用: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS] YARN有一个参数解析框架，采用解析泛型参数以及运行类。   命令参数 描述...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值