一、RDD:基于工作集的应用抽象
无论是基于工作集还是基于数据集,都有这几个特点:位置感知(数据存放位置)、容错、负载均衡。
基于数据流的处理:从物理存储上加载设备,操作数据,再写入物理存储设备,如Hadoop MapReduce。
基于数据流的处理中,每次查询都需要从磁盘读取数据,不能复用曾经的结果或中间计算结果。因此基于数据集的处理不适用于以下场景:
1. 不适用于大量迭代
2. 不适用于交互式查询
RDD:Resillientt Distributed Dataset弹性分布式数据集
弹性:
1. 自动进行内存和磁盘数据的切换(优先存内存)
2. 基于lineage的高效容错
3. Task若失败会进行特定次数的重试
4. Stage若失败进行特定次数的充实,只计算失败的分片
5. checkpoint和persist
checkpoint:计算链条较长或计算复杂时将数据全部放到磁盘;
persist:在磁盘或内存进行数据复用
6. 数据调度弹性:DAG ,TASK和资源、管理无关
7. 数据分片的高度可伸缩repartition
计算过程产生数据碎片,使得分片较小,若每个分片使用一个线程处理,效率太低,多个较小分片应合并,再进行处理;
内存较小,而数据分片比较大,此时分片拆分为更小的分片,进行处理。
在进行查询时,查询工作集会缓存到磁盘,之后进行相同查询任务时直接取用结果。
RDD是只读分区的集合,运算过程默认不会产生中间结果,利用lazy级别实现。例如textFile,flatMap等操作只是标记,其构建新RDD的函数参数中给出了this父RDD。不会立即执行,在进行action操作时触发执行。整个运行过程呈链式。
数据量越大,计算步骤越多,Spark优势更明显。
//flatMap构建新RDD
new MapOartitionRDD[U, T](this,(context, pid, iter)=>iter.flatMap(cleanF))
常规容错方式:数据检查点和记录更新
数据检查点:通过数据中心网络连接不同机器,每次操作都要复制数据集。消耗带宽。网络带宽是分布式系统的瓶颈。
数据更新&