![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 82
fengwuwer
这个作者很懒,什么都没留下…
展开
-
sparksql 解析
1.整体运行流程 使用下列代码对SparkSQL流程进行分析,让大家明白LogicalPlan的几种状态,理解SparkSQL整体执行流程 // sc is an existing SparkContext. val sqlContext = new org.apache.spark.sql.SQLContext(sc) // this is used to implicitly conver转载 2016-11-03 15:40:51 · 389 阅读 · 0 评论 -
spark_sql & hive_sql
SparkSQL相关语句总结 1.in 不支持子查询 eg. select * from src where key in(select key from test); 支持查询个数 eg. select * from src where key in(1,2,3,4,5); in 40000个 耗时25.766秒 in 80000个 耗时78.827秒 2.union all/转载 2016-10-31 09:52:54 · 626 阅读 · 0 评论