RDD弹性的7个方面:
rdd(弹性分布式数据集)
1、自动进行内存和磁盘的数据存储切换。
2、基于lineage(血统)的高效容错机制。
3、task任务失败会进行特定次数的重试。
4、stage失败也会进行特定次数的重试。
5、checkpoint和persits(检查点和持久化),可主动或被动触发。
6、数据调度弹性
任务错误后可以让其它节点代替该故障节点进行。
7、数据分片的高度弹性
数据可以可以进行手动的数据分片。
spark学习day02
最新推荐文章于 2024-09-22 00:00:00 发布