cache
默认是将数据存放到内存中,懒执行
def cache(): this.type = persist()
persist
可以指定持久化的级别。
最常用的是MEMORY_ONLY和MEMORY_AND_DISK。
”_2”表示有副本数。尽量避免使用_2和DISK_ONLY级别
cache和persist的注意点
1.都是懒执行(有的叫延迟执行),需要action触发执行,最小单位是partition
2.对一个RDD进行cache或者persist之后,下次直接使用这个变量,就是使用持久化的数据
3.如果使用第二种方式,不能紧跟action算子
cache和pesist的区别与联系
最新推荐文章于 2024-06-18 16:10:07 发布