Spark RDD缓存方式

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/a1837634447/article/details/79113306

RDD通过persist方法或cache方法可以将前面的计算结果缓存,但是并不是这两个方法被调用时立即缓存,而是触发后面的action时,该RDD将会被缓存在计算节点的内存中,并供后面重用。

这里写图片描述
这里写图片描述

    System.setProperty("hadoop.home.dir", "G:\\hadoop-common-2.2.0-bin")
    val conf = new SparkConf().setAppName("WC").setMaster("local[4]")
    val sc = new SparkContext(conf)

    val value = sc.parallelize(Array("")).cache()
    value.cache()
    //value.persist()
    //value.persist(StorageLevel.MEMORY_AND_DISK_SER_2)
展开阅读全文

没有更多推荐了,返回首页