Spark核心

最新推荐文章于 2024-09-12 23:17:29 发布

hncxhhh

最新推荐文章于 2024-09-12 23:17:29 发布

阅读量82

点赞数

文章标签： spark 大数据 python

本文链接：https://blog.csdn.net/cxhiwxj/article/details/128981155

版权

本文详细介绍了Spark的缓存和checkpoint机制，强调了两者在提升计算速度和容错性方面的角色。缓存保存在内存或磁盘，而checkpoint保存在HDFS。接着，讨论了广播变量和累加器这两种共享变量的使用场景。RDD的依赖关系，特别是窄依赖和宽依赖，影响着Spark的Stage划分。深入探讨了Spark的运行流程，包括DAGScheduler、TaskScheduler和SchedulerBackend的角色。此外，文章还解析了Spark的shuffle过程，包括shuffle write和shuffle read，并提供了shuffle相关的性能调优参数。

摘要由CSDN通过智能技术生成

day06-Spark核心

一、缓存和checkpoint机制(熟悉)

rdd 的优化手段，可以提升计算速度。将计算过程中某个rdd保存在缓存或者hdfs上，在后面计算时，使用该rdd可以直接从缓存或者hdfs上直接读取数据

1-1 缓存使用

1、提升计算速度 2、容错

什么样的rdd需要缓存？

1、rdd的计算时间比较长，获取数据的计算比较复杂

2、rdd被频繁使用

缓存级别
- 指定缓存数据存储的位置

StorageLevel.DISK_ONLY # 将数据缓存到磁盘上
StorageLevel.DISK_ONLY_2 # 将数据缓存到磁盘上 保存两份
StorageLevel.DISK_ONLY_3 # 将数据缓存到磁盘上 保存三份
StorageLevel.MEMORY_ONLY # 将数据缓存到内存  默认
StorageLevel.MEMORY_ONLY_2 # 将数据缓存到内存 保存两份
StorageLevel.MEMORY_AND_DISK # 将数据缓存到内存和磁盘  优先将数据缓存到内存上，内存不足可以缓存到磁盘
StorageLevel.MEMORY_AND_DISK_2 = # 将数据缓存到内存和磁盘
StorageLevel.OFF_HEAP # 不使用
StorageLevel.MEMORY_AND_DISK_ESER # 将数据缓存到内存和磁盘  序列化操作，按照二进制存储，节省空间

使用

from pyspark import SparkContext
from pyspark.storagelevel import StorageLevel

sc = SparkContext()

rdd = sc.parallelize([1,2,3,4,5,6])

# 数据过滤
rdd_filter= rdd.filter(lambda x:x%2==0)
# rdd数据进行缓存
# storageLevel=StorageLevel.MEMORY_ONLY  指定缓存界别  默认MEMORY_ONLY
rdd_filter.persist(storageLevel=StorageLevel.MEMORY_ONLY_2)
# 触发数据进行缓存  使用action算子
rdd_filter.collect()  # 缓存所有数据


# 数据都加一
rdd_map1 = rdd_filter.map(lambda x:x+1)

# 数据乘以2
rdd_map2 = rdd_filter.map(lambda x:x*1)

# 释放缓存  手动释放缓存
# 当代码程序执行完成后自动释放缓存
rdd_filter.unpersist()