spark学习二

基于spark学习一的补充

spark是什么

Hadoop的MapReduce框架类似，都是进行海量数据的处理，并行计算

核心RDD

数据存储在内存中，分区存储（partition）

RDD之间是有依赖的
宽依赖：产生shuffle,数据会存储在磁盘中
窄依赖：不会产生shuffle

这里所讲的shuffle和我们的MapReduce的shuffle过程，前面的Task数据将会被打乱，在分发给下一个stage的各个Task进程处理。

spark分析数据3步走

1.读取数据
val inputRDD = sc.textFile (SparkContext)
val inputDF = spark.read.textFile //spark 2.X SparkSession

2.分析数据
inputRDD. Transformation
调用转换函数Transformation函数，都是高级函数

3.结果输出
resultRDD.action
调用动作函数，调用以后不会返回一个RDD，触发一个job执行

第一类action函数：有返回值
返回值，返回给Driver
top、take、first、count、collect

第二类Action函数：无返回值
没有返回值，直接将数据存储到外部文件系统中或者直接控制打印
foreach\saveAsTextFile

spark 框架的优势
数据结构RDD，用于存储管理数据

DAG调度
spark中每个job的调度都是DAG调度
DAG:有向无环图
（0）构建DAG图，
倒推法，配合依赖
（1）DAG图划分为多个stage，RDD直接产生了shuffle过程，就会划分stage
（2）按照顺序执行stage中task任务，每个stage中可有多个Task

Spark性能优化：RDD方法优化
（1）能不使用groupByKey函数就不使用，除非不得已
redcueByKey（combiner） = groupBy+ map(变量值相加)
redcueByKey可以先进行本地聚合操作

（2）尽量使用XXPartition函数代替XX函数
各个分区中传入迭代器

（3）适当的降低或者增加RDD分区数目
一开始的时候，数据量比较多，可以加到RDD分分区数，增加并行度（在集群资源充足的情况下）

当数据预处理之后（尤其过滤清洗之后）。RDD中数据量减少了很多，此时可以考虑减少分区的数目

spark standalone

spark框架自身带的

分布式集群资源管理和任务调度框架，类似于Hadoop Yarn框架

与Yarn唯独有一点不同的是：一台机器只能运行一个Nodemanager，但是spark standalone在一台机器上可以同时运行多个Workers

spark application运行的过程

回顾MapReduce程序运行在Yarn集群组成
-1.Application Master
应用的管理者，负责资源的申请，task运行监控调度
-2.Task的运行
MapTask和ReduceTask,都是运行在Nodemanager上Container容器中。

spark application运行在集群下，包含2部分
-1.Driver Program -JVM 进程

• 相当于AppMaster,应用的管理者，主要是调度job的执行
• 就是程序Main方法，必须创建sparkContext实例对象
• 端口号4040，提供应用的监控

-2.Executor s

• 每一个Executor是一个JVM进程，里面包含内存和CPU（可以理解为容器container），运行Task—相当于线程池
• 那么executor可以运行多少个tasks,就看有多少core