- 博客(4)
- 收藏
- 关注
RSS订阅原创 基于spark1.3.1的spark-sql实战－02
Hive Tables 将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 When not configured by the hive-site.xml, the context automatically creates metastore_db and warehouse in the current direct
2015-06-01 14:02:15
425
原创 基于spark1.3.1的spark-sql实战－01
sqlContext总的一个过程如下图所示： SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将Logical
2015-06-01 14:00:05
344
spark overview
1. spark vs hadoop PS:Databricks团队特别说明，为了和Hadoop对比，这次用于排序的Spark集群没有使用它们的内存缓存机制，他们也是用硬盘存储的中间结果！ http://tieba.yunxunmi.com/mtieba-hadoop-kz-58b9e430a78747f7fb1ea9f9e6374597.html 但是我们要明白，spark的目标是与h...
2015-06-01 13:42:19
85
原创 spark overview
1. spark vs hadoopPS:Databricks团队特别说明，为了和Hadoop对比，这次用于排序的Spark集群没有使用它们的内存缓存机制，他们也是用硬盘存储的中间结果！ http://tieba.yunxunmi.com/mtieba-hadoop-kz-58b9e430a78747f7fb1ea9f9e6374597.html 但是我们要明白，spark的目标是与hadoop
2015-06-01 13:38:35
496
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人