RDD持久化

1、惰性机制

所谓的“惰性机制”是指,整个转换过程只是记录了转换的轨迹,并不会发生真正的计算,只有遇到行动操作时,才会触发“从头到尾”的真正的计算。

2、在Spark中,RDD采用惰性求值的机制,每次调用行动操作,都会触发一次从头开始的计算(就会生成一个Job),这对于迭代计算而言,代价很大,因为迭代计算经常需要多次重复使用同一组数据。

下面就是多次计算同一个RDD的例子:(2次行动操作,触发2次从头开始的计算)

 实际上,可以通过持久化(缓存)机制来避免这种重复计算的开销。

具体方法:使用persist()方法对一个RDD标记为持久化,要等到遇到第一个行动操作触发真正的计算后,才会把计算结果进行持久化,持久化的RDD将会被保留在计算节点的内存中,被后面的行动操作重复使用。

3、persist()的圆括号中包含的是持久化级别参数:(有2种不同的级别)

persist(
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值