Windows10本地升级Hadoop到3.2版本报错

最新推荐文章于 2023-07-14 20:00:33 发布
最新推荐文章于 2023-07-14 20:00:33 发布
阅读量465 收藏
点赞数 2
分类专栏： 数据存储 文章标签： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41715077/article/details/90062103
版权

ClassNotFoundException:org.apache.hadoop.io.nativeio.NativeIO$POSIX$Stat
问题描述:
最近要升级本地Hadoop到 3.2.0 ，然后用的winutil是3.0 ，启动HDFS的时候一直报错。
无奈最后 都选择3.0 版本。

版本问题：

（1）    JDK版本问题，确认都是32问题或者都是64位。
（2）  hadoop.dll版本问题，确保winutils 的大版本号 和 Hadoop的版本号一致。

1.    JDK下载地址，[jdk1.8](https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html)下载
2.    Hadoop下载，[hadoop下载](https://hadoop.apache.org/releases.html)，进去后找到一个版本然后点击 Binary download 下载到本地。
3.    Hadoop windows环境编译工具，[winutils下载](https://github.com/steveloughran/winutils) ，下载后解压出来

 

October-
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Windows 10 安装Hadoop3.2.1出现java.lang.UnsupportedOperationException
qq_45814396的博客
10-10 514
Windows 10 安装Hadoop3.2.1出现java.lang.UnsupportedOperationException1、问题描述2、官方解释3、解决办法 我在安装并格式化时遇到java.lang.UnsupportedOperationException，搜了好多资料和教程，都没有解决，折腾了好长时间终于解决了。在这里记录一下！ 1、问题描述 Hadoop3.2.1执行hdfs namenode -format时出现以下问题： HDFS NameNode and JournalNode are
Windows本地安装Hadoop所需文件.zip
12-15
在Windows环境下搭建Hadoop集群，对于初学者来说可能是一项挑战，但通过本地安装方式，可以大大简化这个过程。本压缩包“Windows本地安装Hadoop所需文件.zip”包含了在Windows系统上运行Hadoop所需的关键组件和配置...
hadoop3.2.0在window10 安装插件（bin文件夹和etc文件夹）
09-01
window10系统中hadoop3.2.0所需插件和配置文件（bin文件夹和etc文件夹）。bin文件夹（是使用管理员权限解压winutils-master3.2.0.rar文件后，得到bin文件夹，将其复制到（是合并，而不是完全替换）得到的）替换掉hadoop安装目录的bin文件夹。将etc文件夹替换掉hadoop 安装目录下的etc文件夹。环境变量配置文件。
win10环境下hadoop-3.2.1编译后的源码包及编译所需工具
11-07
win10环境下hadoop-3.2.1编译后的源码包，以及win10环境编译所使用的软件及工具，hadoop-3.2.1-src.tar.gz、protobuf-2.5.0.zip和protoc-2.5.0-win32.zip、zlib-1.2.5.tar.gz、cmake-3.18.4-win64-x64.zip、Git-2.26.0-64-bit.exe Visual_Studio_2010_professional下载地址如下： 链接：https://pan.baidu.com/s/17ecFblYZ8u6KQBhpJ_YSew 提取码：8866
Win10安装hadoop3.0.0
大漠帝国的博客
03-22 1947
1.下载安装地址说明：http://blog.csdn.net/xrui_java7/article/details/702312212.安装说明：http://blog.csdn.net/songhaifengshuaige/article/details/795753083.配置说明：http://blog.csdn.net/xuechongyang/article/details/86915...
hadoop滚动升级，3.2.3升级到3.3.5
斯坦索姆的博客
07-14 1177
16、完成namenode、datanode的升级后，需使用3.3.5的环境变量将journalnode，zkfc，resourcemanager，nodemanager，jobhistory等全部重启一遍，即可完成hadoop的全部滚动升级。5、复制3.2.3目录下的配置文件到3.3.5的${HADOOP_HOME}/etc/hadoop目录下，包括的配置文件为hdfs-site.xml,yarn-site.xml,core-site.xml,mapre-site.xml。
spark-3.0.0-bin-hadoop3.2
02-17
在本场景中，我们讨论的是Spark的3.0.0版本，与Hadoop3.2相结合的二进制发行版——"spark-3.0.0-bin-hadoop3.2"。这个压缩包是为了在Windows操作系统下运行Spark而设计的，因此标签明确指出它是适用于Windows平台的...
解决hadoop本地运行报错
10-11
org.apache.hadoop.io.nativeio.NativeIO.java解决办法 将org放入项目的工程目录下 本地运行MR必备的源码包，本地运行MR必备的源码包，本地运行MR必备的源码包，
hadoop分布式集群安装，安装版本为3.2.x
最新发布
07-11
hadoop分布式集群安装，一主两从的hadoop集群，安装版本为3.2.x
spark-3.1.3-bin-hadoop3.2.tgz
05-19
在这个特定的压缩包"spark-3.1.3-bin-hadoop3.2.tgz"中，我们得到了Spark的3.1.3版本，它已经预编译为与Hadoop 3.2兼容。这个版本的Spark不仅提供了源码，还包含了预编译的二进制文件，使得在Linux环境下快速部署和...
hadoop3.3.0.dllwinutil.zip
11-24
hadoop3.3.0.dll&winutil工具连接 Apache Hadoop 3.3.0 incorporates a number of significant enhancements over the previous major release line (hadoop-3.2). Overview Users are encouraged to read the full set of release notes. This page provides an overview of the major changes.
hadoop3.0.0以上版本的winutil
09-25
此资源适用于hadoop3.0.0以上版本在windows下的环境搭建，解压后拷贝替换原hadoop目录下的bin文件即可使用，方便快捷。
winutils多个Hadoop版本
11-13
winutils.exe是在window系统上安装hadoop时所需要的winutils文件，内附多个版本，支持 hadoop-2.6.3 hadoop-2.6.4 hadoop-2.7.1 hadoop-2.8.0-RC3 hadoop-2.8.1 hadoop-2.8.3 hadoop-3.0.0 已通过本人对 Hadoop-2.7.1版本，使用winutils（2.7.1版）在Win7（64位） + JDK1.7下的部署验证。 参考： 1、《Hadoop 2.8 在 windows 平台上的搭建(单节点)》 https://blog.csdn.net/rav009/article/details/70214788 2、hadoop-2.7.1的下载地址 https://archive.apache.org/dist/hadoop/common/
hadoop3.0.2@win64
03-06
Hadoop在访问本地文件和hdfs文件系统时，需要使用本地库，本地库中使用了Windows的API来实现类posix的文件访问许可。而这个本地库的实现就是Hadoop.dll和winutils.exe 编译环境： hadoop2.7.7 - hadoop3.1.1 JDK1.7.0_80/JDK1.8.0_181 C# Compiler version 4.7.3062.0 maven 3.6.0 ProtocolBuffer 2.5.0 CMake 3.13.2 VS2010 mingw-w64 x86_64 8.1.0 请加星支持一下： https://github.com/caidaol/hadoopbuild
Native Hadoop3.2.1 Library 64位编译
02-04
Native Hadoop3.2.1 Library 64位编译，大数据本地库. Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。
Hadoop如何升级版本_Hadoop1.x升级到2.x
wangxiaopeng0329的博客
08-15 1524
对于Hadoop的hdfs来说，升级时直接把低版本的数据拷到高版本的hdfs上就行。 具体步骤： 1. hadoop  fs  -copyToLocal  [低版本的数据目录]，防止数据丢失。 2. 对hdfs-site.xml里面的dfs.name.dir和dfs.data.dir的路径指定的元数据进行备份，防止丢失。  3. stop正在运行的集群后，需要修改环境变量/
在Windows 10 环境下安装 Hadoop-3.1.2
weixin_30715523的博客
06-24 299
分布式系统本来是一组计算机，系统里有多个节点，我们如果装在本机，则代表只有一台服务器，所以这次安装的其实只是单节点集群Hadoop，所有的节点和功能都配在同一台机器上，包括NameNode、 Secondary NameNode、 DataNode, 以及MapReduce（YARN）的Resource Manager、Node Managder。 这里分五个步骤来记录Hadoop安装步骤，以及...
win10下编译hadoop3.2.1源码成功
zhutingwujian的博客
02-19 1201
测试一番后，整理干货如下： 1.BUILDING.txt Building on Windows Requirements: Windows System JDK 1.8 Maven 3.0 or later ProtocolBuffer 2.5.0 CMake 3.1 or newer Visual Studio 2010 Professional or Higher Windows SD...
Hadoop-3.2.1集群搭建笔记+启动失败解决方案
coisini.cn记录
05-12 2873
集群搭建的笔记记录 通过XFTP等软件将 hadoop-3.2.1.tar.gz 包上传到 Master节点的“/opt”内。 1. 进入opt目录 cd /opt 1.1 解压Hadoop安装包 tar -zxvf hadoop-3.2.1.tar.gz 1.2 重命名： hadoop-3.2.1”文件夹名称修改为“hadoop” mv hadoop-3.2.1 hadoop 2. 配置: 2.1 配置env文件 vi /opt/hadoop/etc/hadoop/hadoop-env..
Windows10上安装Hadoop3.0.0详细步骤
"在Windows10上安装Hadoop1的步骤和配置" 在Windows系统上安装和配置Hadoop是一项相对复杂的过程，特别是因为Hadoop主要设计用于Linux环境。以下是安装Hadoop 3.0.0的详细步骤： 1. 下载Hadoop: 首先，你需要从...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

October-

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值