Scala项目中winutils.exe的作用

最新推荐文章于 2024-03-08 17:13:45 发布
最新推荐文章于 2024-03-08 17:13:45 发布
阅读量1k 收藏
点赞数
分类专栏： spark 文章标签： scala winutils.exe hadoop配置文件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43809439/article/details/95099646
版权

Scala项目中的winutils.exe详解

作用:
模拟linux环境

意义:
hadoop基于linux开发和布署运行，故不能将hadoop环境原始运行在windows上。

操作系统环境差异说明
因为模拟linux环境,所以在linux原生环境中就不需要他了
在windows环境中需要配置

如何配置:
配置到运行环境当前目录下的null/bin目录下
如果是eclipse开发，就配置到项目根目录下的null/bin/下即可
切记，是项目根目录!!!

清花浅雨云中仙
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
winutils.exe(hadoop必备文件)
12-31
压缩文件包括以下版本的winutils.exe及hadoop.dll： hadoop-2.6.3;hadoop-2.6.4;hadoop-2.7.1;hadoop-2.8.1;hadoop-2.8.3;hadoop-3.0.0
winutils.exe+hadoop.dll
04-09
标题中的"winutils.exe+hadoop.dll"涉及到的是Apache Hadoop在Windows环境下的配置问题，而描述中的"IDEA运行Spark程序报错Failed to locate the winutils binary in the had"则指出在IntelliJ IDEA（简称IDEA）中...
Windows下Hadoop开发环境找不到winutils.exe的解决办法
Alaskyed的博客
03-10 6531
很多小伙伴在学习hadoop的时候,都是在window下进行开发的,但是这里需要注意一下,在window下开发MapReduce程序,在测试的时候,如果Hadoop的环境不是在Win下编译的环境 有的小伙伴在自己下载hadoop并且搭建开发环境的时候,会发现明明已经配置好了hadoop的环境变量,但是在执行MapReduce程序的时候,还是会出现下面的错误: ERROR util.Shell: F...
spark在Windows10当中部署搭建Scala的使用环境Maven
邹九的个人博客
11-21 336
在Windows10中搭建部署Scala编写spark的使用环境 在Scala中编写spark的程序，需要安装好Java、spark、hadoop、Scala这些环境才可以，spark、hadoop都是依赖Java的，spark的开发语言是Scala，支持用Java、Scala、python这些语言来编写spark程序，本文讲述配置Scala语言编写spark代码的过程，文中的Java版本是Java SE 1.8，spark版本是2.3.1，Scala版本用的是插件。为了方便编写和调试，这里安装的IDE是
使用winutils.exe，在windows开发环境下，调试下调试hadoop、spark程序
热门推荐
RUIMENG061511332的博客
03-23 1万+
在使用idea开发，spark程序时，需要在开发环境模拟hadoop环境，不然，每次都要打jar去集群环境执行调试程序，严重影响开发效率。 winutils.exe是在Windows系统上需要的hadoop调试环境工具，里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类， 下面说下具体使用; 下载地址： https://download.csdn.net/d...
windows版本的winutils.exe和hadoop.dll作用
阿伟的博客
10-16 658
windows本地运行mr程序时(不提交到yarn,运行在jvm靠线程执行)，hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常。
在windows下运行hadoop相关的程序时出现winutils.exe的错误
xiaozhuangyumaotao的博客
05-12 3421
windows上并没有安装hadoop，hadoop在linux虚拟机上安装着，当使用代码操作虚拟机上的hdfs、hive、或者测试rpc时，出现如下错误： ERROR [main] util.Shell (Shell.java:getWinUtilsPath(396)) - Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable nul
hadoop.dll And winutils.exe
03-11
在Spark编程中，`hadoop.dll` 和 `winutils.exe` 是两个关键的组件，尤其在Windows环境下。这两个文件在Hadoop生态系统中扮演着至关重要的角色，与`saveAsTextFile`操作紧密相关。 `saveAsTextFile`是Apache Spark...
Windows下idea运行spark程序相关的hadoop2.7.3插件工具 hadoop.dll winutils.exe
04-05
在这个场景中，`hadoop2.7.3-on-windows_X64-master.zip`是一个专门为Windows用户提供的Hadoop 2.7.3版本的移植包，它包含了在Windows上运行Hadoop所需的一些关键组件，如`hadoop.dll`和`winutils.exe`。这两个文件...
hadoop3.3.0-winutils所有bin文件
02-27
总结来说，Hadoop 3.3.0-winutils提供了在Windows上运行Hadoop所需的全部二进制工具，这对于开发者和数据工程师在非Linux环境下测试、开发或运行Hadoop和Spark项目非常有帮助。同时，它也展示了大数据生态系统中不同...
winutils.exe
11-21
windows支持hadoop的组件，将此文件解压放到hadoop的bin目录下即可，后面的都是随便打的，阿达打啊打打阿达啊打的。
WinUtils.exe
07-18
直接将解压后的内容覆盖原来的hadoop-2.7.6 bin目录下面的文件，替换原来的问题，个人测试过，之后failed to locate the winutils binary in the hadoop binary path的问题消息
hadoop2.7.1(hadoop.dll,winutils.exe) 亲自测试 不好用你吐我
01-21
针对问题： hadoop2.7.1下运行org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 解决办法： 1：解压该文件 2：将hadoop.dll复制到C:\Window\System32下 3：添加环境变量HADOOP_HOME，指向hadoop目录 4：将%HADOOP_HOME%\bin加入到path里面(或在代码中设置系统属性代码System.setProperty("hadoop.home.dir", %解压zip的根目录%) 5：重启myeclipse或者eclipse
winutils.exe：解决hadoop在windows运行出现的bug
12-07
如果出现如下bug：“Could not locate executable null\bin\winutils.exe in the Hadoop binaries”，则下载该文件，放入hadoop的bin文件夹下，并设置环境变量HADOOP_HOME：F:\hadoop2.7.x即可。
64位winutils.exe, 用于win7下操作hadoop
07-04
Hadoop 2.2 Windows下eclipse开发hadoop程序会报错，原因是因为hadoop2.2没有发布winutils.exe造成的，现编译发布出来； 把此文件放到hadoop/bin下，在环境变量中配置 HADOOP_HOME 即可。 ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
hadoop3.3.3-winutils
07-19
Scala项目中的winutils.exe详解 作用: 模拟linux环境 意义: hadoop基于linux开发和布署运行，故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 ...
hadoop win11安装hadoop环境 winutils.exe获取，windows安装大数据运行环境 winutils文件获取，winutils文件 hadoop(十四)
求是
11-22 4026
2. 从上述链接，下载工程，复制出来自己的版本，我hadoop安装的3.3.4，这个github项目没有，所以复制的3.3.5版本一样能用；放入没有中文的路径内，然后配置环境变量。注：有些win环境的大数据dll文件，winutils.exe需要积分下载，我没有积分，提供一份github链接。我的是保存之后，没有生效，重启之后，命令成功写入hdfs文件系统。变量值为你自己从guthub 下载的文件，5. 还是在系统变量这个地方，4. 如图所示，在系统变量。每个版本基本都有，挺全。，注意不要有中文，和空格。
Hadoop或Spark运行缺少winutils.exe文件
yxf19034516的博客
06-24 8048
报错如下： ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable D:\SoftWare\hadoop-2.7.7\bin\winutils.exe in the Hadoop binaries. 这个问题是大部分初学者都会犯的错误，解决办法就是将官网下的源码在Windows上编译一下，但是这个相当麻烦。
winutils.exe-系统错误，由于找不到MSVCR120.dll,无法继续执行代码。重新安装程序可能会解决此问题。
最新发布
weixin_44340038的博客
03-08 532
双击 winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。再资料包里面有对应的微软运行库安装包双击安装即可。下载MSVBCRT_AIO_2018.07.31_X86+X64.exe文件并安装。由于找不到MSVCR120.dll,无法继续执行代码。重新安装程序可能会解决此问题。
scala语言中 list._1是什么意思
05-24
在 Scala 中，List 是一个不可变的序列，它包含一系列有序的元素。当我们使用一个元组来创建一个 List 时，每个元组的第一个元素会被添加到 List 中。这样，List 中的每个元素都是一个二元组，第一个元素是一个值，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值