大数据
kernel0017
这个作者很懒,什么都没留下…
展开
-
SQL on Hadoop中出现CPU bound的主要原因
在SQL on Hadoop中出现CPU bound的主要原因有以下几种: 大量虚函数调用:这个问题在多处出现,比如对于a + 2 * b之类的表达式计算,解释器会构造一个expression tree,解释的过程就是递归调用子节点做evaluation的过程。又比如以DAG形式的operator/task在执行的过程中,上游节点会层层调用下游节点来获取产生的数据。这些都会产生大量的转载 2015-06-03 14:14:31 · 509 阅读 · 0 评论 -
Spark:比Hadoop更强大的分布式数据计算项目
Spark:比Hadoop更强大的分布式数据计算项目 发布时间: 2014-9-23 15:03:13 Spark是一个由加州大学伯克利分校(UC Berkeley AMP)开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed datasets),提供了比Hadoop更加丰富的MapReduce模型,可转载 2015-06-06 19:20:10 · 825 阅读 · 0 评论