windows部署hadoop2.7.5，出现namenode启动不了，报filesystem版本问题

最新推荐文章于 2023-11-06 11:00:04 发布
最新推荐文章于 2023-11-06 11:00:04 发布
阅读量889 收藏
点赞数 1
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42575593/article/details/97551699
版权

windows部署hadoop2.7.5

执行命令 hadoop namenode -format 之后，VERSION 版本为-60，

执行start-all.cmd后，namenode的log报错：

File system image contains an old layout version -60.
An upgrade to version -63 is required.

网上的解决办法是升级verson ：执行如下操作 start-dfs.cmd -upgrade。但是解决不了问题！！

后找到方法是：执行 hdfs namenode -upgrade

启动start-all.cmd

 

Hi_Shook
关注
专栏目录
Hadoop升级失败，File system image contains an old layout version -64
JustinMars的博客
06-19 233
datasophon 部署Hadoop版本。原始版本 Hadoop 3.1.3。升级版本 Hadoop 3.3.3。查看Hadoop格式化版本。
Hadoop分布式部署，部署一个namenode和三个datanode
javaChengXuY的博客
03-05 4371
本文以一主三从部署hadoop为介绍 1 首先克隆原有centos系统 2 nn_y 为主，dn1,dn2,dn3为从，都是通过克隆快速完成的. 右键管理有克隆，选择完全克隆。 3 配置网络集群： 设置静态ip 192.168.64.132 192.168.64.133 192.168.64.134 192.168.64.135 根据自己ip网络设置静态ip地址，最后三位不同。 4 通过x’...
namenode进程无法启动，datanode启动正常；格式化之后，namenode正常，datanode无法启动，怎么解决？
Bolong_的博客
04-18 811
集群环境，全分布式，一个master,两个slave。启动hadoop后，两个slave结点进程正常，master缺少namenode。网上查了一翻，说是namenode元信息受损，需要修复，于是想起刚才急着去吃饭，hadoop没有关闭，电脑随手一合。。心塞。。尝试一翻无果后，只能格式化：cd /opt/linuxsir/hadop/bin./hdfs namenode -format接着清理日志...
Hadoop源码分析_NameNode regular初始化 （FSDirectory详解）
李战磊专栏
10-27 1108
FSNamesystem private void initialize(NameNode nn, Configuration conf) throws IOException对FSDirectory进行了如下调用 this.dir = new FSDirectory(this, conf); StartupOption startOpt = NameNode.getStartupOption
hadoop 2.3.0 HA 配置出现的一个超低级问题
能能的蛋炒饭
05-22 1483
问题描述： 执行命令 hadoop namenode -format 之后，VERSION baneb
Hadoop 系统管理 (Administering Hadoop)
devalone 的专栏
06-19 695
1.  HDFS 1.1 永久性数据结构（ Persistent Data Structures ） 作为管理员，对 HDFS 组件 ———— the namenode, the secondary namenode, and the datanodes 等在磁盘上如何组织它们的持久化数据有一个基本理解是非常重要的。     Namenode 的目录结构（ Namenode direct...
Hadoop安装过程中的问题
qq_35906473的博客
06-29 7862
参考： Hadoop3.0完全分布式集群搭建方法（CentOS7+Hadoop3.2.0） 我在虚拟机上安装了3台centos7,并且以普通用户安装hadoop于 /usr/local下 1.在首次启动hadoop,格式化hadoop namenode -format 时 ，提示如下错误： 错误总结： （1）/tmp 文件夹下权限不足，开放 /tmp 文件夹权限即可 sudo ...
3 Hadoop-HDFS
PhoenixLuo·的博客
04-04 1050
目录 3.1 Apache版本Hadoop重新编译 3.1.1 为什么要编译Hadoop 3.1.2 编译环境的准备 3.2 Hadoop安装 3.2.1 上传apache Hadoop包并压缩 3.2.2 修改配置文件 3.2.3 配置Hadoop的环境 3.2.4 启动集群 3.3 Hadoop核心-HDFS 3.3.1 HDFS概述 3.3.2 HDFS应用场景 适合的应用场景 不适合的应用场景 3.3.3 HDFS架构 3.3.4 NameNode和DataNode
Hadoop权威指南（中文版）2015上传.rar
10-12
第1章 初识Hadoop 数据！数据！ 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 1.3.4 Hadoop 发展简史 Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据集 数据的格式 使用...
Hadoop 环境搭建 全集 超详细, 新手必看
weixin_40978095的博客
02-01 1836
Hadoop 环境搭建--全集
spark2.3+hadoop2.8.2+java1.8+scala2.11.12完全分布式搭建过程
m0_37847641的博客
06-25 1290
软硬件环境lunix机器三台及以上，window机器一台安装xshell来控制所有lunix机器机器之间在同一个局域网，通过xshell可以互相ping通可创建新用户并赋给管理员权限并在用户下搭建环境直接在root用户下搭建环境一、搭建hadoop分布式，所有配置均在一台机器改配置文件，然后发送给其他机器节点给主机取别名通过xshell  输入   vim /etc/hosts  然后点击 i 实...
hadoop升级小记
三劫散仙
07-21 236
[b][color=green][size=large]迎合技术发展，公司最近需要对原有的hadoop进行升级操作，升级前的hadoop为1.2.1的版本，升级后的hadoop为hadoop2.2.0的版本，下面散仙总结下升级心得： （1）hadoop的hdfs系统，支持不同的hadoop版本之间的数据平滑过渡，比如可以直接将Hadoop1.x的数据，升级到hadoop2.x的HDFS上，能...
Hadoop源码分析之NameNode的启动与停止(续)
东方吹雪的专栏
01-25 2291
在上一篇文章Hadoop源码分析之NameNode的启动与停止中大致分析了NameNode节点的启动过程，下面来重点分析NameNode启动过程中执行的initialize方法的几个要点。 创建FSNamesystem对象 NameNode类的实现中，大量的具体调用工作是由FSNamesystem对象完成的，FSNamesystem类是整个名字节点的门面，封装了对HDFS目录操作，数据块块操作
启动Hadoop时，无法启动Datanode解决方案
最新发布
weixin_65182065的博客
11-06 1084
小伙伴们，当我们多次初始化HDFS的时候（hadoop namenode -format），会导致DataNode无法正常启动，这时我们可以采取以下方法解决此问题。这时我们重新启动Hadoop，发现DataNode可以正常启动了。删除完成后，切换到bin目录下重新初始化HDFS。然后删除data目录下的current文件。
Hadoop filesystem连接失败问题解决
如果云层是天空的一封信
12-09 3052
每次重启wsl的时候，hadoop的fs都连不上了！！！ $ hadoop fs -ls / -ls: java.net.UnknownHostException: master Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src>
Hadoop 2.3.0-cdh5.0.2升级Hadoop 2.5.0-cdh5.3.1
linux_ja的专栏
07-14 1262
一、准备升级包 for line in `cat /home/hadoop/platform/hadoop.list|awk '{print $1}'`; do echo $line;ssh $line "/bin/mkdir /home/hadoop/platform";done for line in `cat /home/hadoop/platform/hadoop.list|a
伪分布式hbase从0.94.11版本升级stable的1.4.9版本
weixin_30722589的博客
03-04 130
Hbase从0.94.11升级到stable的1.4.9版本： 升级思路: hadoop1.1.2 hbase 0.94.11 ↓ hadoop1.1.2 hbase 0.96.0-hadoop1 ↓ hadoop1.1.2 hbase 0.9...
docker-compose 环境变量问题
热门推荐
进阶默示录
08-13 2万+
每次部署必需要修改的配置从交付件里独立出来，通过docker-compose传变量覆盖原有配置,记录下, 以备查阅 [root@test03 test]# cat docker-compose.yml version: '2' services: mysql: image: test_db:v1 container_name: xx-mysql rest...
解决更改hadoop核心配置文件后会出现DataNode，或者NameNode无法启动的问题
dapor的博客
07-24 1554
更改了core-site.xml文件内容后。。。重启发现DataNode无法启动： 之后百度了一下网上说的一般都是这两种方法：1.将datanode与namenode的/current 下VERSION等相应文件文件清除； 2.查看DataNode的log文件说是因为DataNode与NameNode的namespaceid不一样所导致，将version里的id··    改成一样的即可！
windows安装hadoop2.7.5
08-18
在Windows系统上安装Hadoop 2.7.5需要进行一些配置。首先，确保你已经下载了Hadoop 2.7.5版本的二进制文件。然后，根据需要进行以下步骤: 1. 配置Java环境: Hadoop需要Java环境才能正常运行。请确保你已经正确安装了Java，并设置了JAVA_HOME环境变量。 2. 配置Hadoop环境变量: 将Hadoop的bin目录路径添加到系统的PATH环境变量中，这样你就可以在命令行中运行Hadoop命令了。 3. 配置Hadoop的配置文件: 在Hadoop的安装目录下，找到etc/hadoop目录，并编辑core-site.xml和hdfs-site.xml文件。根据你的需求，修改文件中的配置项，比如文件系统的URL、数据存储路径等。 4. 配置winutils.exe: 下载合适版本的winutils.exe文件，并将其复制到Hadoop的bin目录下。这个文件是Hadoop在Windows上运行所必需的。 5. 启动Hadoop: 执行Hadoop的启动脚本，比如start-all.cmd，来启动Hadoop集群。 需要注意的是，在Windows上安装和配置Hadoop可能会有一些特定的问题，比如路径设置和安全性设置等。因此，你可能需要参考Hadoop官方文档或者在相关的技术论坛上寻求帮助来解决这些问题。另外，你还可以参考引用和中提供的信息来解决特定的错误或问题。<span class="em">1</span><span class="em">2</span> #### 引用[.reference_title] - *1* [在windows系统中配置Hadoop2.7.5运行环境](https://download.csdn.net/download/weixin_47878012/85075777)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [Hadoop 2.7.5 Windows 7 64位 编译bin（包含winutils.exe, hadoop.dll等）](https://download.csdn.net/download/bsjia8241/10169697)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值