Python
python学习记录
lilyjoke
这个作者很懒,什么都没留下…
展开
-
基于pyhdfs接口对hadoop进行文件操作
最近开发了几个对集群做文件操作的模块,都是基于python(2.7)。下面记录一下对hdfs做文件操作的模块,贴出部分代码。1. pyhdfs(PyHDFS-0.1.2.tar.gz), 依赖包requestssimplejson2. 代码及解说因为之前没有判断把文件写到hdfs后的执行结构,下一步就直接将文件移走了,会造成在写hdfs时,报找不到本地文件的错;原创 2017-02-21 18:32:39 · 3383 阅读 · 0 评论 -
通过ICE接口对hbase进行文件操作
最近开发了几个对集群做文件操作的模块,都是基于python(2.7)。下面记录一下对通过ICE接口,写HBASE的模块,贴出部分代码。1. 关于ICEICE是一个中间件,我们可以通过ICE,不考虑server和client分别是什么,进行跨集群的操作。ice已经有很多资料可供学习,以后也会自己总结一个关于ice的文档2. 依赖包ICE3. 源码及解释原创 2017-02-21 18:42:39 · 868 阅读 · 0 评论