缓存、检查点、广播变量、累加器
缓存
rdd_item.cache().count()
rdd_item.persist(storageLevel=StorageLevel.MEMORY_AND_DISK)
rdd_item.unpersist().count()
--------------------------------------------------------
检查点
# 设置检查点保存位置
sc.setCheckpointDir('/spark/checkpoint')
# 设置开启检查点
rdd_map.checkpoint()rdd_map.count()
--------------------------------------------------------
广播变量
# 设置广播变量
bc = sc.broadcast(值)
# 获取广播变量
bc.value
--------------------------------------------------------
累加器
1- 由于Driver设置一个累加器的初始值
累加器对象 = sc.accumulator(初始值)
2- 由rdd(线程)来进行累加操作
累加器对象.add(累加内容)
3- 在Driver中获取值:
累加器.value