- 博客(2)
- 资源 (6)
- 收藏
- 关注
原创 spark2 sql原理分析--如何调试Query Execution
概述本文讲述如何调试 Query Execution(qe),qe会完成整个spark sql的全部执行计划的处理过程,直到生成rdd代码。为了更好的理解从逻辑计划到物理计划,最后生成的rdd代码,需要能够对该模块进行调试。理解spark sql的执行过程数据准备按以下csv数据格式准备数据。[hover@vm-192-168-4-141 ~]$ hadoop fs -cat /usr...
2020-01-20 08:22:54 1324
原创 spark2 sql原理分析—执行计划的生成和处理(QueryExecution实现概要)
概述本文分析Dataset中的执行计划的处理过程。执行计划的处理包括以下几个过程:分析逻辑执行计划->优化逻辑执行计划->生成一个或多个物理执行计划->优化物理执行计划->生成可执行代码。这个过程都是在dataset的成员:QueryExecution中完成。所以本篇,就是介绍QueryExecution的实现过程。由于QueryExecution的实现过程很多,本文...
2020-01-20 08:20:39 2045
unix network programing
2009-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人