spark
duhm
You should write because writing makes you a better person
展开
-
tungsten内存分析
前言新的内存模型是在这个Jira提出的,JIRA-10000,对应的设计文档在这:unified-memory-management。Memory Manager在Spark 1.6 版本中,memoryManager 的选择是由spark.memory.useLegacyMode=false spark.memory.useLegacyMode=true(代表使用的1.6以前的版本)决定的。如转载 2016-03-25 16:03:03 · 554 阅读 · 0 评论 -
Hive on Spark解析(转自Intel李锐)
摘要:Hive是基于Hadoop平台的数据仓库,已经成为Hadoop事实上的SQL引擎标准。相较于Impala、Shark等,Hive拥有更为广泛的用户基础以及对SQL语法更全面的支持。这里,将走进Hive on Spark世界。 Hive是基于Hadoop平台的数据仓库,最初由Facebook开发,在经过多年发展之后,已经成为Hadoop事实上的SQL引擎标准。相较于其他诸如Impala、Sha转载 2016-03-17 13:22:56 · 704 阅读 · 0 评论