spark任务1

1.搭建spark开发环境

copy老师的eclipse压缩包，解压，打开就可以了，如下图能输出hello world就是开发环境弄好了。

1.1完成Wordcount示例

2 Spark架构

Spark是整个BDAS的核心。生态系统中的各个组件通过Spark来实现对分布式并行任务处理的程序支持。

参考链接：http://book.51cto.com/art/201502/466000.htm

3 spark工作原理

Master是由四大部分组成(RDD Graph,Scheduler,Block Tracker以及Shuffle Tracker）

启动RDD Graph就是DAG，它会提交给Task Scheduler任务调度器等待调度执行

具体执行时，Task Scheduler会把任务提交到Worker节点上

Block Tracker用于记录计算数据在Worker节点上的块信息

Shuffle Blocker用于记录RDD在计算过程中遇到Shuffle过程时会进行物化，Shuffle Tracker用于记录这些物化的RDD的存放信息

4 DAG、Stage、宽窄依赖

前言

stage作为是Spark应用程序的调度任务划分模块，对它的理解有助你提高编写Spark代码的编写，说到底想要玩好Spark，就要玩好RDD。

宽窄依赖

宽依赖：1.父类RDD的一个分区上的数据对应承接给同一个子类RDD的多个分区——即RDD是1对1，但分区是1对多。

        2.父类RDD的一个分区上的数据对应承接给多个子类RDD的一个或多个分区——即RDD是1对多，但分区是1对1，也可以是1对多。

窄依赖：
1.父类RDD的一个分区上的数据对应承接给唯一的子类RDD且分区也是一一对应——即RDD是1对1，分区也是1对1。

从宽窄依赖看shuffle：

宽依赖：有分区的操作，有shuffle，会落地磁盘。

窄依赖：无分区的操作，无shuffle,基于内存计算。

总结：在内存足够的前提下，减少使用有shuffle的算子，会提高代码运行效率。

DAG 划分stage的规则：

在运行时也就是触发action算子开始向前回溯后，遇到宽依赖就切分成一个stage。每一个stage包含一个或多个并行的task任务，

这里的task指的是组成一个task线程中的一部分，一条task线程会负责处理一个partiton中的一部分数据——即在程序运行时数据的划分是：一个stage由一个或多个partition组成，而其中每个partition的数据又是由多个task任务负责处理，且每个task任务会横向贯穿于多个stage当中。这样就使其形成了一套完整的内存迭代计算。

参考链接：https://blog.csdn.net/ly_Blogs/article/details/79783232