Spark RDD缓存方式

RDD通过persist方法或cache方法可以将前面的计算结果缓存,但是并不是这两个方法被调用时立即缓存,而是触发后面的action时,该RDD将会被缓存在计算节点的内存中,并供后面重用。

这里写图片描述
这里写图片描述

    System.setProperty("hadoop.home.dir", "G:\\hadoop-common-2.2.0-bin")
    val conf = new SparkConf().setAppName("WC").setMaster("local[4]")
    val sc = new SparkContext(conf)

    val value = sc.parallelize(Array("")).cache()
    value.cache()
    //value.persist()
    //value.persist(StorageLevel.MEMORY_AND_DISK_SER_2)
相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页