Spark-Core
Spark-Sql
SQL
- HiveTableScan:扫描hive表
- WholeStageCodegen:将多个operators合并成一个java函数,从而提高执行速度
- HashAggregate:基于Hash Map 的聚合实现,如sum,count
- Project:投影/只取所需列
- Exchange:stage间隔,产生了shuffle
- Filter:过滤(如果筛选字段为分区,不属于Filter,属于HiveTableScan)
- CollectLimit:limit 数据