Hadoop 问题java.lang.IllegalArgumentException Wrong FS: hdfs://192.168

最新推荐文章于 2022-03-11 16:50:17 发布

rosboy

最新推荐文章于 2022-03-11 16:50:17 发布

阅读量9.2k

点赞数

分类专栏： hadoop 文章标签： hadoop hdfs

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/rosboy/article/details/50179587

版权

在运行Hadoop程序时遇到错误'java.lang.IllegalArgumentException Wrong FS: hdfs://192.168.96.131:9000/user/hadoop, expected: file:/'。解决方法包括将core-site.xml和hdfs-site.xml文件复制到项目中，或在代码中使用Configuration对象的set方法设置fs.defaultFS。问题出在访问远程HDFS的配置上，通过继承Configured类并正确配置可以避免拷贝配置文件。" 48688369,5516067,解决Matlab内存不足问题的策略,"['Matlab', '内存优化', '科学计算', '软件工程']

摘要由CSDN通过智能技术生成

在看hadoop in action 的时候，关于hdfs的操作地方，抄写代码PutMerge到eclipse上，出现了错误

Wrong FS: hdfs://192.168.96.131:9000/user/hadoop, expected: file:/

然后，上网查找了一下这个错误，说是将core-site.xml 和hdfs-site.xml拷贝到项目里去就可以，原因是访问远程的HDFS 需要通过URＩ来获得FileSystem.。参考链接

但是在同样的eclipse配置下，典型的wordcount程序却没有错误（这个随便百度或者谷歌一下找个hadoop安装教程，测试安装的时候都有）

结合上面两个现象，觉得问题应该出在配置问题上，于是想到Configuration对象。

对比了一下，在WordCount中，Configuration对象是通过getConf()方法得到的，而在PutMerge下，是用的new Configuration()创建的。

于是，尝试在PutMerge中用getConf()方法，发现是需要继承Configured类。这样就不用拷贝core-site.xml 和hdfs-site.xml到项目里了

最低0.47元/天解锁文章

rosboy CSDN认证博客专家 CSDN认证企业博客

码龄14年

3: 原创

56万+: 周排名

35万+: 总排名

6万+: 访问

: 等级

327: 积分

6: 粉丝

15: 获赞

19: 评论

21: 收藏

私信

关注

热门文章

分类专栏

python 1篇
R-CNN
hadoop 1篇

最新评论

Python 将一个正整数分解质因数。例如：输入90,打印出90=2*3*3*5。
rosboy 回复暮光微晓破倾城: 是的，很久远的了
Python 将一个正整数分解质因数。例如：输入90,打印出90=2*3*3*5。
暮光微晓破倾城: 你的这个程序是在Python2.0环境下运行的吧，要是在3以上环境运行的话，第一个程序就不会出现那种情况了哦
Python 将一个正整数分解质因数。例如：输入90,打印出90=2*3*3*5。
qq_24834113: import math def getChildren(num,res = dict()): print('*'*30) isZhishu = True i = 2 square = int(math.sqrt(num)) + 1 while i <= square: if num % i == 0: if res.get(int(i)) == None: res.update({int(i) : 1}) else: res[int(i)] += 1 isZhishu = False getChildren(num / i,res= res) i += 1 break i += 1 if isZhishu: if res.get(int(num)) == None: res.update({int(num) : 1}) else: res[int(num)] += 1 return res
Python 将一个正整数分解质因数。例如：输入90,打印出90=2*3*3*5。
qq_24834113: import math def getChildren(num,res = dict()): print('*'*30) isZhishu = True i = 2 square = int(math.sqrt(num)) + 1 while i <= square: if num % i == 0: if res.get(int(i)) == None: res.update({int(i) : 1}) else: res[int(i)] += 1 isZhishu = False getChildren(num / i,res= res) i += 1 break i += 1 if isZhishu: if res.get(int(num)) == None: res.update({int(num) : 1}) else: res[int(num)] += 1 return res
Python 将一个正整数分解质因数。例如：输入90,打印出90=2*3*3*5。
qq_24834113: import math def getChildren(num,res = dict()): print('*'*30) isZhishu = True i = 2 square = int(math.sqrt(num)) + 1 while i <= square: if num % i == 0: if res.get(int(i)) == None: res.update({int(i) : 1}) else: res[int(i)] += 1 isZhishu = False getChildren(num / i,res= res) i += 1 break i += 1 if isZhishu: if res.get(int(num)) == None: res.update({int(num) : 1}) else: res[int(num)] += 1 return res[code=python] [/code]

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。