一.内容
准备弄的spark模块有spark-core, spark-streaming, spark-sql,其他的暂不读。
二.一些基本原则
阅读源码是为了更了解spark框架,进而能为生产上查找bug,集群及任务优化给到帮助。所以基本原则分来是,阅读分为两步:
1.先理出基本流程
2.细化基本流程到类和方法。
三.最终目的
为什么要选spark框架?不是es或者hadoop,hive。
spark以后将取代mr和tez成为计算主流。
一.内容
准备弄的spark模块有spark-core, spark-streaming, spark-sql,其他的暂不读。
二.一些基本原则
阅读源码是为了更了解spark框架,进而能为生产上查找bug,集群及任务优化给到帮助。所以基本原则分来是,阅读分为两步:
1.先理出基本流程
2.细化基本流程到类和方法。
三.最终目的
为什么要选spark框架?不是es或者hadoop,hive。
spark以后将取代mr和tez成为计算主流。