java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

最新推荐文章于 2024-07-28 16:45:11 发布
最新推荐文章于 2024-07-28 16:45:11 发布
阅读量990 收藏 4
点赞数 1
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ILovePythonhao/article/details/117572054
版权

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.错误解决方案。
在使用Windows本地调试spark程序时，如果使用到了Hadoop相关的东西可能会报如下的错误：
在这里插入图片描述
出现这个问题的原因是：程序运行过程中需要使用Hadoop相关的服务，解决方法是下载相关的文件
链接：https://pan.baidu.com/s/1kxEOvXD6LqONjgq0ZSJwog
提取码：a5vo
或者点击这里
把下载好的文件进行解压缩，然后在idea中
在这里插入图片描述
然后点这里，配置环境变量
在这里插入图片描述
在这里插入图片描述
找到对应的版本路径，即bin的上一级目录
在这里插入图片描述
然后就可以使用了
在这里插入图片描述

ILovePythonhao
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
报错：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.-附件资源
03-05
报错：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.-附件资源
Spark/Hadoop开发缺失插件-winutils.exe
04-25
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.” 缺少Hadoop插件winutils.exe所致。 两种解决方案： 1、下载该文件到D:\hadoop\bin下，并设置环境变量HADOOP_...
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop
飞鱼丶灬的博客
06-22 378
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
Spark报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
a2752454047的博客
10-13 902
解决报错
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries 快速解决
冯菜菜的博客
04-25 6918
报错信息: java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:382) at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:397) at org.apache.hadoop
异常：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
weixin_42806885的博客
03-02 544
windows下运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 很明显应该是HADOOP_HOME的问题。如果HADOOP_HOME为空，必然fullExeName为null\bin\winutils.exe。 解决办法： 下载winutils地址https://github.com/srccodes/hadoop-common-2
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
xfxf996的博客
08-15 170
在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下，在Win7系统Intellij开发工具中调试Spark读取Hbase。运行直接报错：
java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries错误解决办法
qq_37163925的博客
06-21 1392
问题描述 java.io.IOException: Could not locate executable，主要问题是我们虽然设置了本地运行模式val conf = new SparkConf() conf.setAppName("wordcount") conf.setMaster("local") //单击本地运行，但是本地却没有Hadoop环境可运行，所以会报错。 解决办法 需要一个在windows环境下的hadoop包，并且需要配置环境变量，这里我已经编好了一份hadoop2.6.4 windows
Hadoop2.6.0_win64_dll_winutils.exe
07-04
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:378) at org.apache.hadoop.util.Shell....
msvcr100.dll winutils.exe hadoop
11-09
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 或者 Could not locate executable D:\Hadoop\tar\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop ...
分布式系统常见软件架构模式
Ben的专栏
07-25 968
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
江苏科技大学24计算机考研数据速览，有专硕复试线大幅下降67分！
m0_72717598的博客
07-23 519
江苏科技大学（Jiangsu University of Science and Technology），坐落在江苏省镇江市，是江苏省重点建设高校，江苏省人民政府与中国船舶集团有限公司共建高校，国家国防科技工业局与江苏省人民政府共建高校 ，教育部卓越工程师教育培养计划高校，教育部本科教学工作水平评估优秀学校，江苏省高水平大学建设高峰计划B类建设高校，中国船舶与海洋工程产业知识产权联盟、江苏船舶与海洋类高校协同发展联盟牵头单位。其中，研究生新生学业奖学金特等奖3万，一等奖1.2万，二等奖0.8万；
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
最新发布
2202_75352238的博客
07-28 325
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
Kafka知识总结（选举机制+控制器+幂等性）
月伴飞鱼
07-27 910
其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。
Spark RPC框架详解
小昌昌的博客
07-22 1068
SparkContext构造过程的重要一步，就是Driver、ApplicationMaster以及Executor之间的协调和通信过程，这是基于RPC进行的。这里的Spark RPC是基于Netty的通信过程，而Netty的通信其实是基于Reactor架构进行的，Reactor架构其实是基于Java NIO模型进行的。本文详细讲解了基于Netty 的 SparkRPC 框架的实现细节。
杭州东网约车管理再出行方面取得的显著成效
2301_81759256的博客
07-25 497
本次革新，沧穹科技首创将音频“室内北斗”应用于网约车智能导航，利用其信号的空间传播特性和信号传播时间或相位差的精确测量技术，实现网约车智能化服务中对车辆与乘客实时位置的精确追踪，从而确保从预约到乘车的全流程实现智能化、可视化、灵活化管理。同时，管理部门还利用大数据分析，对网约车运营情况进行实时监控和分析，及时发现问题并进行处理，确保了网约车服务的稳定性和可靠性。同时，管理部门还将持续关注行业动态和乘客需求变化，不断优化服务流程和提高服务质量，为广大市民和游客提供更加便捷、安全、舒适的出行体验。
压测实操--produce压测方案
07-24 952
作者：九月环境信息：操作系统centos7.9，kafka版本为hdp集群中的2.0版本。
自定义维度映射：Kylin Cube设计的高级玩法
2401_85763639的博客
07-25 604
维度的自定义映射是指用户可以根据实际需求，将数据源中的列映射到Cube的维度，而不是简单地使用一对一的映射。直接映射：将数据源中的列直接映射到Cube的维度。转换映射：对数据源中的列进行转换后，再映射到Cube的维度。组合映射：将多个数据源列组合成一个维度。在Kylin中，维度的自定义映射可以通过修改Cube的定义来实现。定义数据模型：在Hive中创建数据表，并定义好需要映射的列。编写Hive脚本：编写Hive SQL脚本来转换和组合数据源列。创建Cube。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值