在hadoop上跑python文件报错路径不存在

网上有很多帖子写一个简单的测试py文件,写好之后执行时有几个坑来记录一下。

hadoop2.7之后streaming文件的路径在$HADOOP_HOME/share/tools/lib


我执行hdfs dfs -ls /test/code/ 返回我的两个文件,并且我都给了777的权限。他依旧报错。需要在文件路径前面加上“hdfs:///” 声明文件路径。


执行命令:
hadoop jar hadoop-streaming-2.7.5.jar -files hdfs:///test/code/mapper_test01.py,hdfs:///test/code/reducer_test01.py -input /test/input/ -output /test/output/python_mapreduce_test01/ -mapper "python mapper_test01.py" -reducer "python reducer_test01.py"

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值