在执行hdfs文件操作的时候抛异常 winutils问题的解决

最新推荐文章于 2024-03-11 16:59:50 发布
最新推荐文章于 2024-03-11 16:59:50 发布
阅读量380 收藏
点赞数
分类专栏： hdfs 文章标签： hdfs操作 hadoop winutils
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/diligent_jianhao/article/details/83067353
版权

在执行hdfs文件操作的时候抛异常 winutils问题的解决:

在这里插入图片描述

该问题出现的地方是在对hdfs文件进行操作时,出现的原因是因为我将 hadoop安装在了虚拟机上,所以产生了该问题但该问题并不影响对hdfs文件的一些操作(比如下载hdfs文件到本地).

解决方法:
    1. 配置HADOOP_HOME, 我的电脑 ---->属性 ------> 高级系统配置

    在这里插入图片描述

    在这里插入图片描述

在这里插入图片描述

新建中变量名为 HADOOP_HOME, 变量值为存放的hadoop文件的路径,更正图中2.在Path中配置%HADOOP_HOME%\bin;

    1. 将文件夹bin下的hadoop.dll文件复制,拷贝到C盘Windows路径下System32中

    在这里插入图片描述

    将上面的hadoop.dill文件复制到下面目录处

在这里插入图片描述

    1. 重启电脑即可
jianhao93
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop winutils 多个版本最全大合集dll，winutils.exe
03-24
hadoop的hadoop.dll和winutils.exe “ Could not locate executable null\bin\winutils.exe in the Hadoop binaries”解决方法：把winutils.exe加入你的hadoop-x.x.x/bin下 包含hadoop.dll, winutils.exe hadoop-2.6.0, 2.6.3, 2.6.4, 2.6.5, 2.7.1, 2.7.3, 2.7.4, 2.7.6, 2.7.7, 2.8.0, 2.8.0-RC3, 2.8.1, 2.8.2, 2.8.3, 2.8.4, 2.8.5, 2.9.0, 2.9.1, 2.9.2, 3.0.0, 3.0.1, 3.0.2, 3.1.0, 3.1.1, 3.1.2, 3.2.0, 3.2.1
云服务器hadoop踩坑史
最新发布
m0_63993539的博客
04-09 128
我观察了下172.20.183.106这个ip不对啊，我现在的机器掉了换过了，ip尾巴是108，109，110是106明显是错的，因为云服务器一直掉所以内网ip一直换，我开了新机器，新的ip，这时候就应该删除以往记录和数据。
hadoop win11安装hadoop环境 winutils.exe获取，windows安装大数据运行环境 winutils文件获取，winutils文件 hadoop(十四)
求是
11-22 4248
2. 从上述链接，下载工程，复制出来自己的版本，我hadoop安装的3.3.4，这个github项目没有，所以复制的3.3.5版本一样能用；放入没有中文的路径内，然后配置环境变量。注：有些win环境的大数据dll文件，winutils.exe需要积分下载，我没有积分，提供一份github链接。我的是保存之后，没有生效，重启之后，命令成功写入hdfs文件系统。变量值为你自己从guthub 下载的文件，5. 还是在系统变量这个地方，4. 如图所示，在系统变量。每个版本基本都有，挺全。，注意不要有中文，和空格。
Windows环境部署Hadoop-3.3.2和Spark3.3.2
雷神乐乐的博客
03-11 1717
Windows环境部署Hadoop-3.3.2和Spark3.3.2
DataNode日志发现了org.apache.hadoop.hdfs.server.datanode.ReplicaNotFoundException: Cannot append to a non...
weixin_35755823的博客
12-28 394
这个异常的意思是在 DataNode 上找不到指定的副本，因此无法进行追加操作。这可能是由于该副本已被删除或不存在于 DataNode 上，或者该副本在 DataNode 上已损坏。如果你在使用 Hadoop 的文件系统(例如 HDFS)，可能需要检查你的 Hadoop 集群的状态，并确保所有 DataNode 都正常工作。 ...
hdfsFile.zip, windows下调试hadoop,.hdfs的2个文件hadoop.dll,winutils.exe
03-04
`winutils.exe`则是Hadoop在Windows上的实用工具，它模拟了Linux环境下的`hadoop`命令，使得用户可以在Windows上执行类似于创建HDFS目录、设置HDFS权限、启动和停止Hadoop服务等操作。例如，`winutils.exe`可以用于...
解决Could not locate executable null\bin\winutils.exe
07-26
在windows环境下的eclipse或者idea中编写spark应用时，有时为了验证程序功能需要以本地模式运行测试。常常会遇到如下的异常： java.io.Exception: Could not locate executable null\bin\...本文件可以解决此异常
windows连接Hadoop需要的文件winutils和hadoop_dll
08-01
Winutils是Apache Hadoop项目的一个组件，主要功能是在Windows系统上模拟Hadoop的一些核心功能，比如设置HDFS的访问权限、管理HDFS文件以及启动Hadoop守护进程等。在Linux上，这些功能由`bin/hadoop`脚本完成，但在...
winutils2.8.4-hadoop2.8.4
11-11
这篇文章将详细介绍`winutils.exe`的作用，以及如何解决使用Hadoop API在HDFS上下载文件时遇到的问题。 首先，`winutils.exe`是Hadoop在Windows环境下运行所必需的二进制工具。Hadoop主要设计在Linux系统上运行，...
winutils.exe.zip
07-20
- 如果遇到权限问题，使用`winutils.exe fs chmod`命令可以改变HDFS文件或目录的权限。 - 为了减少问题，建议使用虚拟机或Docker容器在Windows上运行完整的Linux环境来搭建Hadoop集群。 8. **使用场景** `...
winutils.exe文件
10-31
有了这个东西，你就可以在本地的编译器里边运行MapReduce代码了！是不是很酷
winutils多个Hadoop版本
11-13
winutils.exe是在window系统上安装hadoop时所需要的winutils文件，内附多个版本，支持 hadoop-2.6.3 hadoop-2.6.4 hadoop-2.7.1 hadoop-2.8.0-RC3 hadoop-2.8.1 hadoop-2.8.3 hadoop-3.0.0 已通过本人对 Hadoop-2.7.1版本，使用winutils（2.7.1版）在Win7（64位） + JDK1.7下的部署验证。 参考： 1、《Hadoop 2.8 在 windows 平台上的搭建(单节点)》 https://blog.csdn.net/rav009/article/details/70214788 2、hadoop-2.7.1的下载地址 https://archive.apache.org/dist/hadoop/common/
Hadoop 2.7.5 Windows 64位 安装依赖文件（winutils支持和hadoop.dll等）
03-08
hadoop在windows上运行需要winutils支持和hadoop.dll等文件。直接解压后把文件丢到D:\hadoop-2.7.5\bin目录中去，将其中的hadoop.dll在c:/windows/System32下也丢一份
hadoop2.7.3 在windows下需要的hadoop.dll winutils.exe等文件
12-05
hadoop2.7.3 在windows下需要的hadoop.dll winutils.exe等文件 拷贝到bin目录下覆盖
Hadoop 2.7.4 Windows 7 64Bit 编译bin（包含winutils.exe, hadoop.dll等）
09-29
为了学习研究 Hadoop，亲自在Windows 7 64位系统下编译
Hadoop 之 winutils
yang_shibiao的博客
01-21 7895
Hadoop 之 winutils Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 异常
使用windows作为客户端执行hdfs文件操作的时候抛winutils.exe解决方法
qq_42385284的博客
10-12 887
今天在使用windows作为客户端执行hdfs文件操作的时候抛了如下异常 解决办法 1.将你在Linux中使用的hadoop安装包拷贝到windows下一个没有中文没有空格的路径下面去 2.在windows上面配置hadoop的环境变量 3.将lib/native下的hadoop.dll文件放到 C:\Windows\System32 路径下 4.关闭windows重启 ...
解决跨平台winutils的问题
weixin_39339717的博客
07-04 5154
1、从windows访问linux包。绝大多数都有一个报错， 因为我当前hadoop版本是linux的，而我当前windows运行版本没有hadoop的环境，我如何去运行，我现在不是winutils找不到嘛，我给你一个winutils是不是就可以了。 exe文件可以去执行， 在windows上进行的一个编译，在开发过程中，用它就保证没有错误了， 那么具体如何解决呢？ HDFS的api开发 1)解决...
深入理解HDFS：分布式文件系统与操作指南
在学习HDFS时，可以将其与Windows文件系统进行类比，理解其文件操作方式。HDFS提供了丰富的shell命令，如ls、mkdir、rm等，用于执行文件和目录的管理。同时，通过Java API可以更深入地访问和操作HDFS。了解HDFS的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值