说实在的,这段时间,做牛做马,就为了求得一个Hadoop2.6.0使用Python操作HDFS的解决方案,先是网上各种查资料,他们都写得很轻松,但是不幸的是,全都没有试验成功,其中工具无非包括这么几个
1.pyHDFS
2.hadoopy
3.pydoop
4.snakebite
寒枪雪戟霜刀雨剑,跋山涉水诚信可见,无奈不论怎么试验,都是版本问题,要么就是缺包,加上我python装的也有一些版本重合问题,我在想是不是因为HADOOP2.6.0版本太高??不管他了,说说最后的解决办法吧。
还是用了PyHDFS-0.1.0,这个最开始安装本应问题不大,但是我可能python之前装的有问题,所以出现了找不到requests包和simplejson包的问题,搞了半天才弄好。https://pypi.python.org/pypi/PyHDFS/0.1.0这个网址对安装过程写得比较明白,但是最后运行例子的时候却会出现问题,例子如下:
import pyhdfs
def main():
fs = pyhdfs.HdfsClient(hosts="192.68.4.185")
fa = fs.open("/user/