Spark RDD 强性
强性一: 自动的老蚌生珠内存和磁盘数据存储的切换
强性二:基于Lineage的高校容错
强性三:Task如果失果失败会自动进行特定次数的重试
强性四:Stage如果失败会自动进行特定次数的重试,而且只计算失败的分片
强性五:chechpoint(检查点)和persist(持久化)
强性六:DAG、TASK 和资源管理无关
强性七:数据分片的高度强性、repartion
RDD是分布式函数式的编程的抽象,只分区读数据
Spark RDD 强性
强性一: 自动的老蚌生珠内存和磁盘数据存储的切换
强性二:基于Lineage的高校容错
强性三:Task如果失果失败会自动进行特定次数的重试
强性四:Stage如果失败会自动进行特定次数的重试,而且只计算失败的分片
强性五:chechpoint(检查点)和persist(持久化)
强性六:DAG、TASK 和资源管理无关
强性七:数据分片的高度强性、repartion
RDD是分布式函数式的编程的抽象,只分区读数据