hadoop重启虚机后hdfs中数据丢失，需要重新格式化问题

最新推荐文章于 2022-06-10 15:49:41 发布
最新推荐文章于 2022-06-10 15:49:41 发布
阅读量2.5k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/momomi_2005/article/details/21987969
版权
本文介绍了Hadoop虚机重启后遇到的数据丢失问题，详细日志显示因存储目录不存在导致FSNamesystem初始化失败。为解决此问题，可以使用`hadoop namenode -format`进行格式化，但更持久的解决方案是修改core-site.xml和hdfs-site.xml配置文件，指定正确的DFS名称和数据目录。
摘要由CSDN通过智能技术生成

1，虚机每次重启后，如果不格式化namenode，就错误，日志如下：

INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean   INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times  INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /tmp/hadoop-sylar/dfs/name does not exist. 

最低0.47元/天 解锁文章
播种生活
关注
专栏目录
Hadoop完全分布式部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2977
要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。(1）学会hadoop完全分布式配置 (2）理解完全分布式配置的配置文件本次环境是：Ubuntu16.04 + jdk1.8.0_73+hadoop-2.7.3Hadoop 集群的安装配置大致为如下流程:   选定一台机器作为 master，在 master 节点上安装 Hadoop，配置网
Hadoop生态圈 大数据文档
BigData_XiaoBai的博客
12-01 807
文档基于介绍基于Hadoop的大数据生态圈。介绍下图每一个组件的使用场景及使用方法，同时还对每一个组件有更深入的介绍。 ..
虚拟机hadoop集群启动时DataNode进程缺失
Magicalapologize的博客
12-28 2819
虚拟机hadoop集群启动时DataNode进程缺失 1.出现问题: 在Linux命令窗口中输入Jps查询hadoop启动项目时缺少DataNode进程; 2.问题原因:使用格式化命令之后又再次进行格式化,导致namenodeDatas文件序列号不一致使之启动失败 3.解决方案: 修改namenodeDatas文件序列号,使其保持一致 3.1DataNode启动成功效果图 云 帆 于 201...
重启集群造成块丢失问题org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for L
qq_41018861的博客
06-10 1046
我于2022-06-10执行查询 报错日志 报错分析 报错是在执行hive查询的时候报的，从报错我们可以看出这是一个map reduce阶段读取数据时候报错，是读取文件数据块异常的问题，我们可以理解为数据文件块损坏或丢失问题。 遇到这个问题是因为之前升级HA集群关闭了较长一段时间，前端采集数据使用的是flume，关闭集群导致flume数据到hdfs文件没有正常关闭。因此在造成这个问题。因此我们需要找到没有正常关闭的文件并将他们修复。1、通过命令hdfs fsck /user/hive -openforwr
生产环境HDFS目录丢失问题
lhxsir的博客
02-20 782
代码不规范，同事两行泪！ 代码不备份，自己两行泪！ 早上正常上班，打开集群：昨天的任务全部失败！ 打开目录，发现少了conf文件夹，之后又发现analysis文件夹也莫名消失。 没有专门的运维人员进行集群管理和快照保存，作为开发我才发现Hue上删除数据竟然没有用户操作记录，数据找回无望，因为之前写的程序代码都在。只能按照历史数据重新计算，然而这个是同比环比数据，想当初计算出来的时候逻辑改了好几版，...
Hadoop Namenode/Datanode节点丢失
Yohann丶blog
05-15 1302
1101621048795_.pic_hd.jpg 环境 CentOS 6.8 64位 1核 2GB JDK 1.7.0_55 64 位 Hadoop 1.1.2 问题 $ jps 27841 TaskTracker 27897 Jps 27522 DataNode 27735 JobTracker 27650 SecondaryNameNode 查看启动进程，没有返回 Namen...
hadoop集群重启后数据丢失处理
zcb_data的博客
05-07 4132
一般hadoop集群重启后会立即处于安全模式，主节点检查各个从节点数据正常后会自动解除安全模式，是否丢失数据可使用命令 “hadoop fsck 路径"来进行查看，例如： hadoop fsck / 查看根目录下所有文件的健康状况，是否有损坏的数据块 如果重启前你的集群是正常的，没有丢失数据，而重启结束之后检查发现该目录下...
Hadoop 之 HDFS配置
qq_39996037的博客
04-25 1275
Hadoop 之 HDFS配置目录一. hdfs概念二. 配置N台虚拟机（搭建集群）2.1 主机名2.2 ip地址2.3 hosts映射2.4 防火墙2.5 jdk2.6 ssh免密三. Hadoop配置一. hdfs概念二. 配置N台虚拟机2.1 主机名2.2 ip地址2.3 hosts映射2.4 防火墙2.5 JDK2.6 ssh免密三. Hadoop之HDFS配置3.1 解压hadoop安装包3.2 配置hadoop环境3.3 配置hadoop-env.sh3.4 配置hdfs-site.xml3.5
虚拟机（CentOS）下安装配置Hadoop（伪分布式）
weixin_43698398的博客
04-26 4120
一、hadoop相关介绍 hadoop是由Apache开发的分布式系统基础架构，是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。 Hadoop框架最核心的设计就是HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。此外，Hadoop还包括了Hive，Hbase，ZooKeeper，Pig，Avro，Sqoop，Flume，Mahou
Hadoop分布式集群出错（启动后数据节点缺失）
zhanghaitaocc博客
07-26 2639
在hadoop启动后，使用jps发现各个节点启动正常，如图： 三个节点都正常启动了，可是用浏览器访问50070端口出现： 明明有两个数据节点，显示的只有一个。如果你不断点刷新页面，数据节点的IP地址是会变的，这是什么情况？这是因为你克隆虚拟机时，复制了两个一模一样的hadoop，这就导致了datanode的VERSION里面有2个id是一模一样不能共存，所以只能显示一个数据...
启动Hadoop没有dataNode进程的解决办法
m0_67394002的博客
04-11 3934
1.问题现象: 在启动Hadoop时，通过jps目录发现没有datanode进程。 [root@hadoop ~]# jps 1792 SecondaryNameNode 1937 Jps 1650 DataNode 2 解决方案:clusterID不匹配导致的问题 网上搜了下，网上的说法都是由于进行hadoop格式化的时候没有事先结束所有进程，或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配，从而在启动后没有datanode进程。 解决
Hdfs 数据块丢失处理
热门推荐
大师兄你家猴跑啦的博客
12-06 1万+
1、查看节点、hdfs、丢失的数据块 命令：hadoop dfsadmin -report    用这个命令可以快速定位出哪些节点down掉了，HDFS的容量以及使用了多少，以及每个节点的硬盘使用情况。 当然NameNode有个http页面也可以查询，但是这个命令的输出更适合我们的脚本监控dfs的使用状况；具体如图： [root@66666logs]# hdfs df
hadoop问题
qq_43066945的博客
08-13 102
Hadoop是什么 Hadoop是一个由Apache基金会锁开发的分布式系统基础架构 主要解决:海量数据的存储和海量数据的分析计算问题 广义上来说，hadoop通常是指一个更广泛的概念-hadoop生态圈 Hadoop集群出现namenode丢失问题时 （原始数据会丢失，除非自行备份过，格式化你懂得） 停止一些hadoop服务（hdfs、yarn等） 删除所有服务器上的data文件夹 删除所有服务器上的logs文件夹 格式化hdfs namenode -format 常用的配置文件： Hadoo
数据库‖上千节点Hadoop集群升级过程分享
weixin_52672149的博客
02-25 458
在上一次我进行了超万亿规模的Hadoop NameNode问题的排查，通过为时四天的努力，终于解决了Hadoop2.6.0版本的瓶颈问题，但是生活往往就是墨菲定律，你所极力避免的那些最坏的可能也许终将会发生。 为了防止遇到NameNode的第二次瓶颈，我决定将当前集群由Hadoop2.6.0版本升级到Hadoop3.2.1版本，且启用联邦模式。但是在升级之后，我们还是遇到了很多意向不到的问题，虽然最终经过一系列的排查还是解决了这些问题，但是我认为这次集群的升级经验能够帮助一些同学少走弯路。 下面，enjoy
HDFS3.X 系列的 EC 纠删码策略有个安全隐患 HDFS-16420，极端情况下会造成数据丢失
明哥的IT随笔
03-09 1862
紧急扩散！HDFS3.X 系列的 EC 纠删码策略有个安全隐患 HDFS-16420，极端情况下会造成数据丢失！ 1. HDFS-16420 BUG 概述 HDFS3.X 的 EC 纠删码功能，近期被发现有个 BUG：该 BUG 会导致，以纠删码机制存放的目录和文件，在某些特殊情况下，会被系统误删，从而造成数据丢失。 目前 HADOOP 社区已经通过 HDFS-16420 在版本 3.4.0/3.2.3/ 3.3.2 中修复了该 BUG，Cloudera 针对该 BUG 也给出了详细的分析和修复建议：
已解决：Hadoop启动HDFS时，丢失Namenode/Datanode。
chensay的博客
03-25 1161
已解决：Hadoop启动HDFS时，丢失namenode进程。 There appears to be a gap in the edit log. We expected txid 1, but got txid 102. [root@chensy logs]# hadoop namenode -recover #也许是namenode数据元丢失 DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead
HDFS集群无法启动DataNode节点
xl132598798的博客
04-16 857
问题描述: ​ 执行./start-dfs.sh之后，使用jps查询进程时，发现dataNode并未启动；执行./stop-dfs.sh之后，发现：no datanode to stop 分析过程: ​ 当使用hdfs namenode -format格式化namenode时，会重新生成集群的相关信息，特别是clusterID，每次刷新都会产生一个新 的clusterID；但是该操作却不会影响Da...
Hadoop部署指南：HDFS格式化与MapReduce入门
然后可以通过命令`$ hadoop namenode -format`来进行HDFS的格式化，这是首次启动Hadoop集群时的必要操作，它会清理并创建新的目录树结构。 Hadoop的发展历程始于2002年的Apache Nutch项目，随后在2006年至2008年间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值