-
cache(): RDD[T]
-
persist(): RDD[T]
-
persist(level: StorageLevel): RDD[T]
cache和persist操作都是对RDD进行持久化,其中cache是persist采用MEMORY_ONLY存储级别时的一个特例,
scala> var rdd = sc.textFile("/Users/lyf/Desktop/data.txt")
rdd: org.apache.spark.rdd.RDD[String] = /Users/lyf/Desktop/data.txt MapPartitionsRDD[57] at textFile at <console>:24
scala> rdd.cache()
res38: org.apache.spark.rdd.RDD[String] = /Users/lyf/Desktop/data.txt MapPartitionsRDD[57] at textFile at <console>:24
// 第一次计算行数,这里只能从本地文件读取数据,不能从内存
scala> rdd.count()
res39: Long = 4
// 第二次计算,则是从内存中读取数据
scala> rdd.count()
res40: Long = 4
scala> var rdd = sc.textFile("/Users/lyf/Desktop/data.txt")
rdd: org.apache.spark.rdd.RDD[String] = /Users/lyf/Desktop/data.txt MapPartitionsRDD[59] at textFile at <console>:24
scala> rdd.persist()
res41: org.apache.spark.rdd.RDD[String] = /Users/lyf/Desktop/data.txt MapPartitionsRDD[59] at textFile at <console>:24
scala> rdd.count()
res42: Long = 4
scala> rdd.count()
res43: Long = 4
StorageLevel有以下几种
级别 | 使用空间 | CPU时间 | 是否在内存 | 是否在磁盘 | 备注 |
MEMORY_ONLY | 高 | 低 | 是 | 否 | 数据只放在内存中 |
MEMORY_ONLY_2 | 高 | 低 | 是 | 否 | 持久化2份数据 |
MEMORY_ONLY_SER | 低 | 高 | 是 | 否 | 数据序列化后存人内存 |
MEMORY_ONLY_SER_2 | 低 | 高 | 是 | 否 | 持久化2份数据 |
MEMORY_AND_DISK | 高 | 中 | 部分 | 部分 | 如果数据在内存中放不下,则溢写到磁盘 |
MEMORY_AND_DISK_2 | 高 | 中 | 部分 | 部分 | 持久化2份数据 |
MEMORY_AND_DISK_SER | 低 | 高 | 部分 | 部分 | 如果数据在内存中放不下,则溢写到磁盘。内存中存放序列化后的数据 |
MEMORY_AND_DISK_SER_2 | 低 | 高 | 部分 | 部分 | 持久化2份数据 |
DISK_ONLY | 低 | 高 | 否 | 是 | 数据只存入磁盘 |
DISK_ONLY_2 | 低 | 高 | 否 | 是 | 持久化2份数据 |
-
unpersist(): RDD[T]
与persist相反,该操作可以手动将持久化的数据从缓存中移除
scala> var rdd = sc.textFile("/Users/lyf/Desktop/data.txt")
rdd: org.apache.spark.rdd.RDD[String] = /Users/lyf/Desktop/data.txt MapPartitionsRDD[59] at textFile at <console>:24
scala> rdd.persist()
res41: org.apache.spark.rdd.RDD[String] = /Users/lyf/Desktop/data.txt MapPartitionsRDD[59] at textFile at <console>:24
scala> rdd.unpersist()
res44: org.apache.spark.rdd.RDD[String] @scala.reflect.internal.annotations.uncheckedBounds = /Users/lyf/Desktop/data.txt MapPartitionsRDD[59] at textFile at <console>:24
参考:
[1] 郭景瞻. 图解Spark:核心技术与案例实战[M]. 北京:电子工业出版社, 2017.