RDD(缓存|检查点|广播变量|累加器)

缓存、检查点、广播变量、累加器

缓存

rdd_item.cache().count()

rdd_item.persist(storageLevel=StorageLevel.MEMORY_AND_DISK)

rdd_item.unpersist().count()

--------------------------------------------------------

检查点

# 设置检查点保存位置

sc.setCheckpointDir('/spark/checkpoint')

# 设置开启检查点
rdd_map.checkpoint()

rdd_map.count()

--------------------------------------------------------

广播变量

# 设置广播变量

bc = sc.broadcast(值)

# 获取广播变量

bc.value

--------------------------------------------------------

累加器

1- 由于Driver设置一个累加器的初始值
     累加器对象 = sc.accumulator(初始值)
2- 由rdd(线程)来进行累加操作
     累加器对象.add(累加内容)
3- 在Driver中获取值:
     累加器.value