lmalds的专栏

倚南窗以寄傲,审容膝之易安。

Spark为什么快?

Spark SQL比Hadoop Hive快,是有一定条件的,而且不是Spark SQL的引擎比Hive的引擎快,相反,Hive的HQL引擎还比Spark SQL的引擎更快。 其实,关键还是在于Spark 本身快。 Spark为什么快? 1、消除了冗余的HDFS读写 Had...

2016-04-19 14:19:36

阅读数:4378

评论数:0

大数据时代,为什么使用Spark框架?

1、轻量级快速处理     Spark的快速是相当于Hadoop等其他分布式集群而言,其快速主要原因是基于内存的计算,减少了IO的操作,使用RDD可以将中间结果存放在内存或磁盘,以便之后做迭代计算时重复使用。     Spark的轻量级体现在其仅仅是一个计算框架,且提供了Spark SQL、Spa...

2016-04-19 13:54:57

阅读数:2084

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭