Everything should be made as simple as possible, but no simpler

Hadoop备忘:Reduce阶段Iterable<VALUEIN> values中的每个值都共享一个对象

/** * Iterate through the values for the current key, reusing the same value * object, which is stored in the context. * @return the series...

2016-03-31 16:11:22

阅读数 3038

评论数 0

利用virtualenv在Hadoop Streaming中使用完全个性化的Python解释器

在使用Python编写Hadoop Streaming作业的过程中,我们发现需要使用一些比较复杂的第三方库,比如numpy,scipy,scikit-learn,pandas等等。而这些库通过简单的zipimport机制又不能正常在工作节点上执行,主要原因是这些库中,有些是有C共享库依赖的。 ...

2016-03-01 14:24:08

阅读数 3468

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭