![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
ghostman_yue
这个作者很懒,什么都没留下…
展开
-
spark overview
1. spark vs hadoopPS:Databricks团队特别说明,为了和Hadoop对比,这次用于排序的Spark集群没有使用它们的内存缓存机制,他们也是用硬盘存储的中间结果! http://tieba.yunxunmi.com/mtieba-hadoop-kz-58b9e430a78747f7fb1ea9f9e6374597.html 但是我们要明白,spark的目标是与hadoop原创 2015-06-01 13:38:35 · 496 阅读 · 0 评论 -
基于spark1.3.1的spark-sql实战-01
sqlContext总的一个过程如下图所示: SQL语句经过SqlParse解析成UnresolvedLogicalPlan;使用analyzer结合数据数据字典(catalog)进行绑定,生成resolvedLogicalPlan;使用optimizer对resolvedLogicalPlan进行优化,生成optimizedLogicalPlan;使用SparkPlan将Logical原创 2015-06-01 14:00:05 · 344 阅读 · 0 评论 -
基于spark1.3.1的spark-sql实战-02
Hive Tables 将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 When not configured by the hive-site.xml, the context automatically creates metastore_db and warehouse in the current direct原创 2015-06-01 14:02:15 · 425 阅读 · 0 评论 -
spark overview
1. spark vs hadoop PS:Databricks团队特别说明,为了和Hadoop对比,这次用于排序的Spark集群没有使用它们的内存缓存机制,他们也是用硬盘存储的中间结果! http://tieba.yunxunmi.com/mtieba-hadoop-kz-58b9e430a78747f7fb1ea9f9e6374597.html 但是我们要明白,spark的目标是与h...2015-06-01 13:42:19 · 85 阅读 · 0 评论