分布式计算-hadoop
文章平均质量分 70
frankie110
这个作者很懒,什么都没留下…
展开
-
hadoop-streaming几个常用的错误编码。
换了个工作,这边还是用streaming,不过不知道平台的原因,或者其他各种错误层出不穷。这里做一个记录。经常遇到的exception是:PipeMapRed.waitOutputThreads(): subprocess failed with code N"OS error code 1: Operation not permitted""OS error code转载 2012-11-22 14:29:42 · 5357 阅读 · 2 评论 -
python调用so库
我厂大部分的code都是采用C++写的,有的时候需要进行一些数据分析,又需要用c++里面的很多函数,例如url的转换函数,hash编码的函数,着实不甚方便,这个时候把常用的c++的函数,封装为SO库让python调度就非常有必要的了。 当然,如果从性能的考虑,你也可以balabal了。 那么这里就简单描述一下在python中怎么使用so库吧。 python中使用so库的方法很多,原创 2013-03-27 00:51:30 · 18666 阅读 · 4 评论 -
[备注]haoop streaming常用的一些命令
工作了一段时间之后xi原创 2014-07-29 19:47:46 · 5741 阅读 · 0 评论 -
文章标题
hadoop 开发笔记采用toolrun解析conf形式: http://blog.csdn.net/jediael_lu/article/details/38751885 运行代码: -Dname=value 获取:getconf原创 2015-12-03 20:17:00 · 379 阅读 · 0 评论