Spark RDD缓存方式

最新推荐文章于 2024-11-23 20:43:28 发布

我们始终是路人

最新推荐文章于 2024-11-23 20:43:28 发布

阅读量2.7k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/a1837634447/article/details/79113306

版权

spark 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本文介绍了Spark中RDD的缓存方法，包括persist和cache。关键在于，这些方法并不会立即缓存数据，而是在遇到action操作时，RDD才会被存储到计算节点的内存中，以实现后续计算的高效重用。

摘要由CSDN通过智能技术生成

RDD通过persist方法或cache方法可以将前面的计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。

这里写图片描述

    System.setProperty("hadoop.home.dir", "G:\\hadoop-common-2.2.0-bin")
    val conf = new SparkConf().setAppName("WC").setMaster("local[4]")
    val sc = new SparkContext(conf)

    val value = sc.parallelize(Array("")).cache()
    value.cache()
    //value.persist()
    //value.persist(StorageLevel.MEMORY_AND_DISK_SER_2)