![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python
文章平均质量分 81
python学习记录
lilyjoke
这个作者很懒,什么都没留下…
展开
-
基于pyhdfs接口对hadoop进行文件操作
最近开发了几个对集群做文件操作的模块,都是基于python(2.7)。下面记录一下对hdfs做文件操作的模块,贴出部分代码。 1. pyhdfs(PyHDFS-0.1.2.tar.gz), 依赖包 requests simplejson 2. 代码及解说 因为之前没有判断把文件写到hdfs后的执行结构,下一步就直接将文件移走了,会造成在写hdfs时,报找不到本地文件的错;原创 2017-02-21 18:32:39 · 3402 阅读 · 0 评论 -
通过ICE接口对hbase进行文件操作
最近开发了几个对集群做文件操作的模块,都是基于python(2.7)。下面记录一下对通过ICE接口,写HBASE的模块,贴出部分代码。 1. 关于ICE ICE是一个中间件,我们可以通过ICE,不考虑server和client分别是什么,进行跨集群的操作。ice已经有很多资料可供学习,以后也会自己总结一个关于ice的文档 2. 依赖包 ICE 3. 源码及解释原创 2017-02-21 18:42:39 · 871 阅读 · 0 评论