关闭

spark之RDD(四)

120人阅读 评论(0) 收藏 举报
分类:

7.Spark一切都以RDD为基础

RDD resilient distributed dataset

 弹性分布式数据集

--a list of partitions 

分区列表

--a function for computing each split

计算每个切片的函数

--a list of dependencies on other rdds 

对其他RDD的依赖列表

--optionally, a partitioner for key-valuerdds

对key-value类型的RDD的分区器

                   (e.g.to say that the rdd is hash-partitioned)

--optionally,a list of preferred locationsto compute each split on

      每个数据切片的预定义地址              

                   (e.g.block locations for an hdfs file)

8. spark  runtime

使用Spark,开发者需要编写一个Driver程序,连接到集群以运行Worker如下所示。Driver定义了一个或多个RDD,并调用RDD上的动作。Worker是长时间的运行的进程,将RDD分区以java对象的形式缓存在内存中。

 

流程示意

分布式文件系统 --加载数据集--  transformation  --action触发执行-- action

transformation 是懒加载模式,执行action才会真正执行

rdd可以从集合直接转换而来,也可以由先现存的任何hadoop inputformat而来,亦或者hbase等等

9.RDD创建的方式

Parallelized Collections(并行集合)

valdata=Array(1,2,3,4,5)
valdistData=sc.parallelize(data)

External Datasets(外部数据集)

scala>valdistFile=sc.textFile("data.txt")
distFile:RDD[String]=MappedRDD@1d4cee08

变量名.toDebugString 查看多少RDD

10.延迟执行与执行的方法

11.Spark的高容错机制lineage

基于DAG图,lineage是轻量级而高效的:


操作之间相互具备lineage的关系,每个操作只关心其父操作,各个分片的数据之间互不影响,出现错误的时候只要恢复单个Split的特定部分即可:


每个RDD都会记录自己依赖于那个RDD,万一某个RDD的某些partition挂了,可以通过其他RDD并行计算迅速恢复回来。

12.宽依赖与窄依赖



0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1591次
    • 积分:121
    • 等级:
    • 排名:千里之外
    • 原创:11篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档