spark
spark涨芝士
凪雅。
这个作者很懒,什么都没留下…
展开
-
关于SparkSQL-parse的三个疑问
目录1 InternalRow.scala2 TreeNode.scala3 expressions(表达式)3.1 核心操作3.2 输入输出3.3 基本属性3.4 等价判断3.5 字符串表示上篇文章的结尾我提到了SQLParse过程中有三个关键的概念1.数据处理时,如何表示数据?2.树中间结构数据究竟是什么,如何表示?3.如何理解解说席规则中的表达式?Spark Sql实际转换过程如下:逻辑计划和物理计划部分都和spark底层RDD平台无关,它主要靠基础架构Catalyst完成,于是该问题原创 2020-07-23 19:01:42 · 417 阅读 · 1 评论 -
Spark SQL分析
一. Spark SQL执行全过程逻辑计划(LogicalPlan),理解为树形结构,逻辑算子树;物理计划(PhysicalPlan),理解为物理算子树.逻辑计划:未解析的逻辑算子树(Unresolved LogicalPlan),仅数据结构不包含数据信息;解析后逻辑算子树(Analyzed LogicalPlan),节点中绑定各种信息;优化后逻辑算子树(Optimized LogicalPlan),应用各种优化规则对一些低效的逻辑计划进行转换.物理计划:1. 根据逻辑算子树,生成物理算原创 2020-07-23 15:39:52 · 963 阅读 · 0 评论