Hadoop2.6.0使用Python操作HDFS的解决方案

说实在的,这段时间,做牛做马,就为了求得一个Hadoop2.6.0使用Python操作HDFS的解决方案,先是网上各种查资料,他们都写得很轻松,但是不幸的是,全都没有试验成功,其中工具无非包括这么几个

1.pyHDFS

2.hadoopy

3.pydoop

4.snakebite

寒枪雪戟霜刀雨剑,跋山涉水诚信可见,无奈不论怎么试验,都是版本问题,要么就是缺包,加上我python装的也有一些版本重合问题,我在想是不是因为HADOOP2.6.0版本太高??不管他了,说说最后的解决办法吧。

还是用了PyHDFS-0.1.0,这个最开始安装本应问题不大,但是我可能python之前装的有问题,所以出现了找不到requests包和simplejson包的问题,搞了半天才弄好。https://pypi.python.org/pypi/PyHDFS/0.1.0这个网址对安装过程写得比较明白,但是最后运行例子的时候却会出现问题,例子如下:

import pyhdfs
def main():
     fs = pyhdfs.HdfsClient(hosts="192.68.4.185")
     fa = fs.open("/user/

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值