spark-sh xxx.jar命令报错Input path does not exist

最新推荐文章于 2023-02-02 22:43:23 发布
最新推荐文章于 2023-02-02 22:43:23 发布
阅读量642 收藏 1
点赞数 1
文章标签： shell spark hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42639540/article/details/105747449
版权

报错：Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://master:9000/daas/motl/ods/od s_ddr/day_id=20180503

一：hdfs中确实没有这个文件，重新上传文件或修改路径即可

二：hdfs路径下确实存在这个文件，执行在shell命令行执行spark submit xxx也可以执行

原因：idea中写脚本的时候，是CRLF编码（window编码），换行符是“/r/n”，而linux是LF编码，换行符是“/n”

解决：在idea中写sh脚本时，注意将编码格式换成LF编码格式

会飞的鱼_于
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop问题：Input path does not exist: hdfs://Master:9000/user/hadoop/input
weixin_34194317的博客
03-03 1万+
问题描述： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://Master:9000/user/hadoop/input at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.sing...
Spark读取Hive分区表出现Input path does not exist的问题！！！
ccyy
08-12 1954
问题详情 Hive读取正常，不会报错，Spark读取数据就会出现报错信息： org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://testcluster/user/hive/warehouse/.... 然后我们去查看一下 表数据的具体在hdfs上的存储路径，去hdfs上查看，发现文件确...
使用spark分布式计算框架进行数据计算时 出现报错 Caused by: java.io.IOException: Input path does not exist
yujinlong2002的博客
02-02 1171
使用spark分布式计算框架进行数据计算时 出现报错 Caused by: java.io.IOException: Input path does not exist
Spark读取Hive分区表出现Input path does not exist的问题！！
ChengYanan的博客
10-15 1471
Hive读取正常，不会报错，Spark读取数据就会出现报错信息： org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://testcluster/user/hive/warehouse/.... 然后我们去查看一下 表数据的具体在hdfs上的存储路径，去hdfs上查看，发现文件确实不存在！...
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://Master11:9000/user
Nurbiya_K的博客
09-19 1万+
在写spark 读取本地文件命令的时候报hdfs上文件不存在的错… 读取文件是分两种情况： （首先要确保文件路径写对了！！！！！） 1. 如果读取hdfs上的文件时报这个错，那么去看hdfs上是否有这个文件！！ hdfs dfs -ls / （ / 后面写要读取的文件的路径） 如果没有那么就创建文件，或者把本地文件上传到hdfs上： 上传本地文件： hdfs dfs -put /usr/l...
Spark Streaming实时监听HDFS目录，但出现：Input path does not exist: hdfs://node1:9000/sst-024/20180101.log._COP
a921026768的博客
06-12 1177
Spark Streaming实时监听HDFS目录，出现找不文件异常。 异常主要提示信息：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://node1:9000/sst-024/20180101.log._COPYING_ 详情如下图 出现问题原因 直接上传文件会在 HDFS 上生成一个临时文件，后缀是.COPYING，Spark Streaming .
hadoop集群测试mapreduce程序的各种坑
一天不进步，就是退步.
11-30 3409
Error1:datanode未能启动，namenode和datanode的clusterID不一致 原因：datanode日志显示java.io.IOException: Incompatible clusterIDs in /opt/hadoop-2.7.3/tmp/dfs/data: namenode clusterID = CID-add6cc33-56f0-4d7c-8484-60
Hadoop错误2_Hadoop伪分布式下，运行WordCount时，Input path does not exist错误原因
热门推荐
wang_zhenwei的博客
08-12 3万+
在伪分布式下，按照下面两个博客，分别以命令行方式和Eclipse执行WordCount程序时，都会出现同样的错误， （Eclipse：http://blog.csdn.net/wang_zhenwei/article/details/47422775） （命令行方式：http://blog.csdn.net/wang_zhenwei/article/details/47439623）
Spark读取文件Input path does not exist问题
weixin_42547302的博客
01-05 4403
Spark的sc上下文路径默认从当前部署环境中查找，在Hadoop下用sc.testFile("input")不能读到spark文件下的input 如需从本地读取，用特殊写法file:///opt/bigdata/spark/input
解决问题:Input path does not exist: hdfs://localhost:9000/input
Sunday2017的博客
03-25 2万+
问题描述：在hdfs文件系统上没有input文件，接下来我们建一个即可，百度好多都是要使用命令去创建的，还有一个就是在DFS localtion里面直接创建具体：点击，输入input-->ok -->  运行完成...
mapreduce error:input path does not exist 的解决方法
u012318203的专栏
11-08 5621
运行mapreduce 有时可能出现如下错误： Exception in thread "main":Input path does not exist:file: ******* 一种可能的原因是，程序员在main函数里自己手工设置了文件输入输出路径，而路径不准确。 例如，这样写是错的：PathIn=“/user/root/input”， 改为：PathIn="hdfs://localh
sparkconf 无法自动导入_spark常见问题处理
weixin_39970166的博客
12-19 746
1、spark thriftserver报以下错误，其他诸如hive/sparksql等方式均正常ERRORActorSystemImpl:Uncaughtfatalerrorfromthread[sparkDriverActorSystem-akka.actor.default-dispatcher-379]shuttingdownActorSystem[sparkDriv...
Input path does not exist
Neighbor_L的博客
10-18 4204
Spark-sql 报错：org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: 现象 spark-sql手动提交任务，报错提示Input path does not exist PS:查资料过程中，有的用scala\java提交spark任务时，本应该读取HDFS路径，但是spark却读到了local path，有参数控制或者是dfs配置有操作，可以通过参数解决。 分析： 查tablename的hdfs路径，然
eclipse编译hadoop错误：Input path does not exist: hdfs://192.168.184.21:9001/user/xxxx/input
Java 之 道
12-13 9710
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 异常 Input path does not exist异常分析 描述： 今天按照hadoop的快速入门练习hadoop出现下面的错误 org.apache.hadoop.mapreduce.lib.input.In
解决Input path does not exist：file://
perfer258的博客
06-16 3万+
任务提交指令:spark-submit  --class orderinversioninspark.RelativeFrequency ~/soft/temp/bigdataAnalysis.jar 2 /input/inputfile.txt /outputfi异常部分信息如下：Exception in thread "main" org.apache.hadoop.mapred.Invali...
saprk submit 无法执行HDFS上的jar
谁在呼唤敌法师的博客
05-05 5344
突发奇想的第一篇博文！（其实最主要的新买的键盘，想打字=-=）还不知道写点神马呐，但在技术论坛，光发感想的话，是不是有点违和。而且好久不写东西，感觉自己一肚子话，无从说起。。。想当年我也是偏偏作文当范文，还喜欢舞文弄墨的伪文青啊！就写写这两天刚刚遇到的一个小坑吧我的spark是standalone集群方式使用spark submit命令发布spark任务时，把jar放到本地的可以正常执行；命令：s...
Input path does not exist: hdfs://localhost:9000/usr/hadoop/word.txt
DaB_za的博客
04-10 1万+
最近在学习Spark读取HDFS上面的数据，执行代码： textFile = sc.textFile("hdfs://localhost:9000/usr/local/hadoop/word.txt") 遇到标题上的错误： Input path does not exist: hdfs://localhost:9000/usr/local/hadoop/word.txt 作者第一次学习Spark，对本地（local）读取和HDFS读取并不是太懂，折腾了半天，找了很多解答，也还是没有解决这个问题。还好舍友厉
[ERROR] The specified user settings file does not exist
最新发布
04-04
As an AI language model, I do not have access to your computer or system files, but this error message suggests that the user settings file that the program is trying to access does not exist. To resolve this issue, you can try the following steps: 1. Check if the file exists: Navigate to the file path specified in the error message and check if the file exists. If it does not, you may need to create a new user settings file with the correct name and location. 2. Check the file path: Ensure that the file path specified in the program settings is correct and matches the actual location of the user settings file. 3. Reset the program settings: If the user settings file is corrupted, you can try resetting the program settings to default and then reconfigure the settings. 4. Reinstall the program: If all else fails, you can try reinstalling the program to ensure that all necessary files and settings are properly installed. If you are still having issues, you may need to consult the program's documentation or contact their support team for further assistance.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值