SparkStreaming的编程模型及原理的认识

SparkStreaming的编程模型及原理的认识

数据结构

DStream ：SparkStreaming中使用的数据结构，代表一个连续的数据流，是由一系列带有时间维度的RDD组成

RDD：只读、有分区的数据集，利用有向无环图（DAG）记录数据结构之间的变化，属性如下：

属性	含义	使用场景
分区列表— partitios	每个分区存储RDD的一部分数据
分区位置列表—preferredLocations	记录每个分区数据存储在哪台机器节点上	重写方法getPreferredLocations，实现让分区尽可能和数据在相同的机器上
依赖列表—dependencies	记录RDD的依赖关系
分区器—partitioner	记录RDD的依赖关系	重写方法getPartitions，按自定义方式分区，目前支持Hash和Range分区
计算函数—compute	利用父分区计算RDD分区的值

yarn-cluster提交任务流程

流程描述：
1.SparkStreaming任务提交后，Client向HDFS上传SparkStreaming的Jar包和配置，之后向Yarn ResourceManager提交任务
2. ResourceManager通知对应的NodeManager启动ApplicationMaster，ApplicationMaster启动后加载SparkStreaming的Jar包和配置构建环境,启动Driver（包含SparkStreamingContext和SparkContext）
3. ApplicationMaster向ResourceManager申请资源启动Executor，ResourceManager分配Executor资源后，由ApplicationMaster通知资源所在节点的NodeManager启动Executor
4. Executor启动后向Driver发送心跳包，并等待Driver向其分配任务