spark Core缓存广播变量

一、缓存
1、缓存的意义：减少数据重复计算
2、场景：RDD重复使用的时候
3、API　cache
4、cache和persist
cache 的底层是persist MEMOR_ONLY ,默认数据只保存在内存中
persist 可以指定缓存级别，MEMOR_AND_DISK 或者 MEMOR_ONLY 或者其它

二、checkpoint
1、checkpoint和cache区别
第一：checkpoint会斩断依赖，cache不会
第二：cache数据保存在内存或者本地磁盘，checkpoint 数据一般保存在HDFS上
2、API
sc.setCheckpointDir(…)
rdd.checkpoint
使用checkpoint的时候一般会搭配cache使用
三、广播变量
1、意义：节省内存空间
2、场景：每个task都需要共同数据的时候可以使用广播变量
在没使用广播变量之前，内存占用大小 = task 个数 * 共同数据的大小；
在使用广播变量以后，内存占用大小 = executor个数 * 共同数据的大小
3、API
创建广播变量 val bc = sc.broadcast（数据）
取出广播变量的值 bc.value