SparkSQL
码农的世界,你不懂
这个作者很懒,什么都没留下…
展开
-
SparkSQL核心知识
一、SparkSQL概述1、概念官网:http://spark.apache.org/sql/Spark SQK是Spark用来处理结构化数据(结构化数据可以来自外部结构化数据源也可以通过RDD获取)的一个模块外部的结构化数据源包括 Json,parquet(默认),rmdbs,hive等2、Spark SQL的优点mapreduce...原创 2019-11-05 14:49:37 · 157 阅读 · 0 评论 -
SparkSQL入门(4)
无论是SQL AST,DataFrame还会Dataset都是按照这个流程来执行的Unresolved Logical Plan 先生成一个纯粹的逻辑计划,这个时候还没和实际上的数据有任何的交互Logical Plan 这个时候和数据交互后得到一个实际的逻辑执行计划Optimized Plan 因为上一步已经和数据进行一定的交互,引擎可以在这个基础上进行一定的优化Physical Plan...原创 2019-10-31 15:21:56 · 90 阅读 · 0 评论