python
文章平均质量分 60
闻oB
这个作者很懒,什么都没留下…
展开
-
python 与hadoop之pyhdfs库安装
对于这个,我只能说自己是脑残,日了狗了;一定把记下来;弄了接近一个周才算完成(刚开看着网上的弄,就是不成功,而且网上的例子还是比较多的,但是都比较老了,有些都是四五年前的了,所以弄起来各种烦;曾经有一度想选择用thrift了);开始我们的安装之旅:首先要获取libhdfs.so; 及下载一个hadoop就可以了,我用的是hadoop2.5.2;具体位置可以用find查找(我的在hadoop/lib原创 2015-12-07 15:04:15 · 6979 阅读 · 2 评论 -
python 与hadoop之pyhdfs的append
由于项目需要,所以就涉及到append功能; HDFS设计之处并不支持给文件追加内容,这样的设计是有其背景的(如果想了解更多关于HDFS的append的曲折实现,可以参考《File Appends in HDFS》: http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/),但从HDFS2.x开始支持给文件追加内容,可以参见 htt原创 2015-12-10 09:56:41 · 1516 阅读 · 0 评论 -
python 与hadoop之pyhdfs的使用
安装好pyhdfs并不等于你就可以安心的敲代码了; 主要问题是:在import pyhdfs时提示没有这个库; 这是个问题出在:python setup.py install –prefix=’/usr’ 后面的/usr这个应该是python 库的路径上面,默认的是/usr/local/下面。但具体问题具原创 2015-12-09 22:10:41 · 5383 阅读 · 0 评论 -
python 之运维
好久没来了,自从开学以来,似乎一直没心情记录自己的东西!最近有一nginx负载均衡的项目。其中一部分涉及到对服务器状态的监控,主要涉及有cpu,内存,挂载点,进程,网卡等信息的监控。原来没有学过python,自己用了五天多点的时间学了一些基础,然后就开始参与项目的开发!起初觉得这个比较容易,因为网上的例子是在是很多!但在敲代码的时候因为自己的固执走了很多的弯路!下面分享我的一些经历; 先是看了《p原创 2015-11-28 10:32:25 · 920 阅读 · 0 评论