解决Input path does not exist：file://

最新推荐文章于 2024-01-19 15:01:20 发布
最新推荐文章于 2024-01-19 15:01:20 发布
阅读量3.1w 收藏 7
点赞数 6
分类专栏： 大数据 文章标签： Hadoop Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/perfer258/article/details/80714407
版权

任务提交指令:

spark-submit  --class orderinversioninspark.RelativeFrequency ~/soft/temp/bigdataAnalysis.jar 2 /input/inputfile.txt /outputfi

异常部分信息如下：

Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file://input/inputfile.txt
    at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:285)

        at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:228)

        at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:313)

按理说，默认应该寻找HDFS目录下的文件，现在却找的是本地文件。具体原因想了很久也没想明白，待续。

附上自己的解决方案：

spark-submit --class orderinversioninspark.RelativeFrequency ~/soft/temp/bigdataAnalysis.jar 2 hdfs://master:8020/input/inputfile.txt /outputfi0

即添加完整的hdfs URL。

另外，若要使用本地文件的话那么URL改为：file:///home/centos/soft/files/inputfile.txt

Julian Win
关注
  • 6
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop on Mac with IntelliJ IDEA - 1 解决input path does not exist问题
weixin_30781631的博客
08-07 1174
本文讲述使用IntelliJ IDEA时遇到Hadoop提示input path does not exist（输入路径不存在）的解决过程。 环境：Mac OS X 10.9.5, IntelliJ IDEA 13.1.4, Hadoop 1.2.1 Hadoop放在虚拟机中，宿主机通过SSH连接，IDE和数据文件在宿主机。 这是自学Hadoop的第三天。以前做过点.NET开发，Mac、In...
Input path does not exist: file:/.......
weixin_33774883的博客
12-08 4242
注意看是file不存在并不是hdfs，好奇怪，突然明白应该是路径不对，必须加上hdfs://hostname:port/file。 我为什么饭这样的错误是因为前一阵谢了HDFS的曹组，谢了全局FileSystem，那么下面就不比要hdfs://hostname:port/了。...
Input path does not exist
Neighbor_L的博客
10-18 4208
Spark-sql 报错：org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: 现象 spark-sql手动提交任务，报错提示Input path does not exist PS:查资料过程中，有的用scala\java提交spark任务时，本应该读取HDFS路径，但是spark却读到了local path，有参数控制或者是dfs配置有操作，可以通过参数解决。 分析： 查tablename的hdfs路径，然
使用JAVA写词频统计时报错。Input path does not exist:
qq_43759478的博客
06-03 677
错误原因：没有把conf信息注入连接。
高清监控系统兼容所有网络摄像机
10-04
Upgrade file does not match.=升级文件不匹配 Checksum error!=升级文件校验错误！ Update error please retry.=升级出错，请重新升级！ User No Permission=用户无权限！ Connect server failed.=连接升级服务器...
Radmin自动登录器v3.0-多国语言绿色版-Release1-20150615
06-12
RecordName,IP,Port,User,Password,Domain,ColorDepth,Updates,UnlockDesktop,Fullscreen,Nofullkbcontrol,Monitor,Sendrequest,Pbpath,Proxy,AsProxyBy,Memory,TreePath sample01,192.168.0.6,4899,user01,,,,,,,...
myxrgsu安装步骤
12-06
　WARNING: IintNIC:NIC eth0 does not exist(3) Get parameter error！ 　所以要先输入以下命令：#ifconfig eth0 172.17.11.223 //后面的是我的IP 　下面是我的认证过程： 　root@ubuntu:~# ifconfig eth0 172.17...
Input path does not exist: file:/opt/apps/hive-3.1.3/conf/spark-warehouse
weixin_51635590的博客
11-20 725
spark-sql-hive元数据存储与读取
hive表insert数据报错input path does not exists
qq_16805961的博客
01-19 622
mapred.invalidinputException:input path does not exists hdfs://表路径/表名/表分区。hive表 insert 数据时，报错vertex failed ，vertex name =Map 1...查询不到当前分区 ，说明hive分区表元数据和hdfs文件目录不一致（也可能是分区删除），导致的读异常。这个方式可以解决问题，之后再重新insert分区就可以了。再次运行select * 依然不行。
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/input
weixin_30785593的博客
07-06 353
原我是这样写的 //输入数据所在的文件目录 FileInputFormat.addInputPath(job, new Path("/input/")); //mapreduce执行后输出数据目录 FileOutputFormat.setOutputPath(job, new Path("/output/")); 这个错误原因是路劲错误，应加上hdfs中core-site.x...
使用spark分布式计算框架进行数据计算时 出现报错 Caused by: java.io.IOException: Input path does not exist
yujinlong2002的博客
02-02 1171
使用spark分布式计算框架进行数据计算时 出现报错 Caused by: java.io.IOException: Input path does not exist
运行wordcount程序报 Input path does not exist 错
u013697028的博客
11-02 6911
在Windows上部署了hadoop，在执行官网给出的wordcount程序是遇到一下报错， Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/input at org.apache.hadoop.map
Hadoop错误2_Hadoop伪分布式下，运行WordCount时，Input path does not exist错误解决办法
nyh670276894的博客
09-26 1630
在运行wordcount这个实例时，总是出现错误，看了好多办法都没有解决问题。最后问了老师，老师给出了原因以及解决办法。 执行失败的原因是缺少find命令 话不多说，非常简单，直接安装一个命令即可。 安装： dnf install findutils 之后就可以了。 前提是core-site.xml、hdfs-site.xml环境变量都修改完成且正确的条件下。 在安装完这个命令后，需要再一次格式化。 注意！！！ 格式化的时候记得把hdfs下的namenode和datanode全部删除，不要保留。 格式化以
解决问题:Input path does not exist: hdfs://localhost:9000/input
热门推荐
Sunday2017的博客
03-25 2万+
问题描述：在hdfs文件系统上没有input文件，接下来我们建一个即可，百度好多都是要使用命令去创建的，还有一个就是在DFS localtion里面直接创建具体：点击，输入input-->ok -->  运行完成...
Spark读取文件Input path does not exist问题
weixin_42547302的博客
01-05 4408
Spark的sc上下文路径默认从当前部署环境中查找，在Hadoop下用sc.testFile("input")不能读到spark文件下的input 如需从本地读取，用特殊写法file:///opt/bigdata/spark/input
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:...解决
qq_56572867的博客
05-26 2664
当我使用 val peopleDF = spark.sparkContext.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(para=>Person(para(0).trim,para(1).trim.toInt)).toDF peopleDF: org.apache.spark.sql.DataFrame = [name: string, age: bigint] 创建完peopleDF后，用
Input path does not exist: file:/user/hadoop/input/avgTemperature.txt
最新发布
04-02
"Input path does not exist: file:/user/hadoop/input/avgTemperature.txt" 这个错误提示表示指定的输入路径不存在。通常情况下，这个错误可能有以下几个原因： 1. 输入路径错误：请确保输入路径的正确性，包括路径是否存在、路径是否拼写正确等。可以检查一下输入路径是否正确。 2. 权限问题：如果你没有足够的权限访问该路径，也会导致该错误。请确保你有足够的权限读取该路径下的文件。 3. 文件不存在：如果指定的文件确实不存在于该路径下，那么就会出现该错误。请检查一下该路径下是否存在该文件。 请根据以上几个原因逐一排查，找出导致该错误的具体原因，并进行相应的修正。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值