hadoop异常： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exit

最新推荐文章于 2022-06-01 14:41:11 发布
最新推荐文章于 2022-06-01 14:41:11 发布
阅读量4.5k 收藏 1
点赞数 1
分类专栏： Hadoop 文章标签： 集群 分布式文件系统 路径配置 WordCount 文件操作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45834006/article/details/123707126
版权

出现原因：集群有要操作的目录或者文件但是本地没有吧路径写全造成的。
其次是集群获取分布式文件系统没有做配置，默认是本地（你电脑下的路径）
所以分布式系统找不到路径。
设置如下图：

  • 以WordCount 为例
    在这里插入图片描述
  • 最终结果如下
    在这里插入图片描述
缘不易
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Hadoop错误2_Hadoop伪分布式下，运行WordCount时，Input path does not exist错误原因
wang_zhenwei的博客
08-12 3万+
在伪分布式下，按照下面两个博客，分别以命令行方式和Eclipse执行WordCount程序时，都会出现同样的错误， （Eclipse：http://blog.csdn.net/wang_zhenwei/article/details/47422775） （命令行方式：http://blog.csdn.net/wang_zhenwei/article/details/47439623）
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉； 查看DataNode是否启动；...
错误：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://lo
qq_53269459的博客
02-01 1万+
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 异常 Input path does not exist异常分析 描述： 在自定义实现编译运行 WordCount 的时候，本地hadoop中已经存在已包含内容的input文件，执行 jar 操作 bin/hadoop jar workspace/WordCount.jar WordCount input1 output的时候，出现以
Hadoop 运行Java时发生异常：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not
分享我的点点滴滴，在成长路上与你同行！
06-01 1250
Java远程到集群上，统计单词！
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist
foradawn的博客
04-29 3988
idea下远程调试hadoop程序一直报路径不存在。。。找了好久，然后一直认为路径是正确的，然而。。。 我们在hdfs系统中直接建立文件后，可能误以为这个路径就是相对路径，事实上并不是 使用hdfs dfs -ls / 查看当前目录可以知道当前的相对路径是什么 这个路径困扰了一下午。。。好想哭。。。无语。。。...
hadoop异常之输入路径不存在
alanlonglong的博客
01-23 5365
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://mycluster/pythontout         at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedList
java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0
01-09
 hadoop. io. nativeio. NativeIOSWindows . access0 (Ijava/ lang/String;I)Z  原因：在调用NativeIO中的access0()时调不到 解决方法：①第一步：在项目工程中加入NativelO.java，注意包名必须与源码中...
【SpringBoot】Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
01-07
【SpringBoot】Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster报错明细问题解决后记 报错明细 IDEA SpringBoot集成hadoop运行环境，，本地启动项目，GET请求接口触发...
【Spark】六、org.apache.hadoop.security.AccessControlException
01-09
Exception in thread main org.apache.hadoop.security.AccessControlException: Permission denied: user=L.MOON, access=WRITE, inode=/user/lsy/result1/_temporary/0:lsy:supergroup:drwxr-xr-x Caused by: org....
运行hadoop自己提供的示例时，提示input文件夹不存在的解决方案
spspxl的博客
05-26 4380
当运行hadoop单击版时，提示org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/usr/local 错误，多数原因是自己所在的用户组对该文件夹没有读写权限，解决办法是利用chgrp、和chown 命令，改变该文件夹所在用户组，和拥有者即可。
wordcount报错：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist:
yangmingtia的博客
11-12 3997
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://192.168.25.128:9000/export/yang/log.1     at org.apache.hadoop.mapreduce.lib.i...
eclipse运行出现org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist错误
qq_44796583的博客
10-22 1626
问题出现场景 org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/ooxx/input org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThread...
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/input
weixin_30785593的博客
07-06 352
原我是这样写的 //输入数据所在的文件目录 FileInputFormat.addInputPath(job, new Path("/input/")); //mapreduce执行后输出数据目录 FileOutputFormat.setOutputPath(job, new Path("/output/")); 这个错误原因是路劲错误，应加上hdfs中core-site.x...
错误Exception in thread “main“ org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path
m0_60318777的博客
11-18 5952
原因 在使用 Eclipse 运行 MapReduce 程序时，会读取 Hadoop-Eclipse-Plugin 的 Advanced parameters 作为 Hadoop 运行参数，如果我们未进行修改，则默认的参数其实就是单机参数，因此程序运行时是读取本地目录而不是 HDFS 目录，就会提示 Input 路径不存在。 解决办法 在项目的src下加入core-site.xml和hdfs-site.xml两个文件，以及 log4j.properties 复制到 WordCount 项目下的 src
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost~~
热门推荐
小夏陌的博客
12-06 2万+
报错 在Spark中运行sc.textFile()等命令后报以下错误： org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9000/Filename.txt 解决方法 这是所加载文件不存在而报的错，因为配置等原因textFile()默让是在HDFS中查找文件，所以只...
Hadoop错误2_Hadoop伪分布式下，运行WordCount时，Input path does not exist错误解决办法
nyh670276894的博客
09-26 1628
在运行wordcount这个实例时，总是出现错误，看了好多办法都没有解决问题。最后问了老师，老师给出了原因以及解决办法。 执行失败的原因是缺少find命令 话不多说，非常简单，直接安装一个命令即可。 安装： dnf install findutils 之后就可以了。 前提是core-site.xml、hdfs-site.xml环境变量都修改完成且正确的条件下。 在安装完这个命令后，需要再一次格式化。 注意！！！ 格式化的时候记得把hdfs下的namenode和datanode全部删除，不要保留。 格式化以
Spark读Hive分区表报错：Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist
SunnyRivers
10-28 1947
第一个
eclipse编译hadoop错误：Input path does not exist: hdfs://192.168.184.21:9001/user/xxxx/input
Java 之 道
12-13 9708
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 异常 Input path does not exist异常分析 描述： 今天按照hadoop的快速入门练习hadoop出现下面的错误 org.apache.hadoop.mapreduce.lib.input.In
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException:
最新发布
07-28
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: 回答: 这个错误通常是由于输入路径不存在导致的。根据引用\[2\]的解释，当使用Eclipse运行MapReduce程序时，默认的参数是单机参数，而不是HDFS目录。因此，如果输入路径在HDFS中不存在，就会出现这个错误。解决这个问题的方法是在项目的src下加入core-site.xml和hdfs-site.xml两个文件，并将它们复制到WordCount项目的src文件夹中。这样，程序就能正确读取HDFS中的输入路径了。 #### 引用[.reference_title] - *1* *3* [Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se](https://blog.csdn.net/mtj66/article/details/52644800)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [错误Exception in thread “main“ org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input ...](https://blog.csdn.net/m0_60318777/article/details/121398932)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

缘不易

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值