一.spark学习初体验之SparkContext

     我是初级菜鸟一枚，写博客也是为了自己复习巩固一下，同时记录一下自己学习spark的过程，希望和大家一起交流成长（希望大家千万别喷我，不然我会丧失继续写下去的勇气的）。

    首先写一下我个人对spark运行架构原理的理解。

    首先最重要的一步在driver上构建我们的SparkContext。在这一步主要做了四件事：

    （1）创建了DAGScheduler

             DAG是基于用户的transformation操作和stage阶段划分算法，将一个spark任务分解成若干个stage（stage阶段划分 算法在后面的文章中我会详细的说一下），然后为每一个stage构建一个taskset，并交由TaskScheduler（其实质上就是在逻辑上将spark任务进行拆分，用户分布式计算）

    （2）创建TaskScheduler

            其实TaskScheduler是在DAGScheduler之前进行创建的。其主要用户接收DAGScheduler分配的taskset，通过网络传递给对应的executor（这样描述其实是有一定问题的，缺少了中间一个重要的组件）

    （3）SchedulerBackend

            其实这个东西是在TaskScheduler内进行初始化的，但是我感觉他太重要了，所以就单独将其列出来。在后续的的文章中也会对其进行详细的说明。

    （4）SparkUI

            这个组件就是为了能让我们对正在运行的spark任务能够在页面中进行一个直观的监测。

    好了，第一篇就写这么多把，感觉这四件事每一个单独拿出来都能写太多了，还是在以后的文章中慢慢的说明吧，哈哈哈哈

    有写的不对的地方，希望读者能指出来，共同进步