Spark RDD缓存方式

RDD通过persist方法或cache方法可以将前面的计算结果缓存,但是并不是这两个方法被调用时立即缓存,而是触发后面的action时,该RDD将会被缓存在计算节点的内存中,并供后面重用。

这里写图片描述
这里写图片描述

    System.setProperty("hadoop.home.dir", "G:\\hadoop-common-2.2.0-bin")
    val conf = new SparkConf().setAppName("WC").setMaster("local[4]")
    val sc = new SparkContext(conf)

    val value = sc.parallelize(Array("")).cache()
    value.cache()
    //value.persist()
    //value.persist(StorageLevel.MEMORY_AND_DISK_SER_2)
展开阅读全文
©️2020 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值