Spark RDD容错率描述

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/afafawfaf/article/details/81045186


1,Spark RDD如果其中的RDD计算错误,重算它会找与之前的RDD

2,Spark RDD如果RDD做了缓存策略,计算错误的RDD重算就会从缓存里面找

3,Spark RDD如果Lineage过长对RDD做doCheckpoint(),计算错误的RDD重算就会从磁盘里面找到
展开阅读全文

没有更多推荐了,返回首页