Spark大数据处理笔记二：Spark 计算模型

最新推荐文章于 2024-01-14 21:04:59 发布

qq_16608563

最新推荐文章于 2024-01-14 21:04:59 发布

阅读量428

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/qq_16608563/article/details/86480221

版权

本文深入探讨Spark的计算模型，重点讲解RDD（弹性分布式数据集）的概念和特性。通过实例展示了如何从HDFS读取数据，如何进行RDD的操作如filter和count，以及RDD的创建方式和两种操作算子：Transformation和Action。此外，还阐述了RDD的内部属性、数据存储和算子分类，包括map、flatMap、mapPartitions等。

摘要由CSDN通过智能技术生成

1 Spark程序模型
1）SparkContext中的textFile函数从HDFS读取日志文件，输出变量file
val file=sc.textFile(“hdfs://xxx”)
2）RDD中的filter函数过滤带“ERROR"的行，输出errors(errors也是一个RDD)
val errors = file.filter(line => line.contains(“ERROR”)
3）RDD的count函数返回”ERROR“的行数：errors.count()。
RDD操作起来与scala集合类型没有太大区别，这就是spark追求的目标：像编写单机程序一样编写分布式程序，但他们的数据和运行模型有很大的不同，用户需要具备更强的系统把控能力和分布式系统知识。
从RDD的转换与存储角度看这个过程：如下图所示：
在这里插入图片描述
用户程序对RDD通过多个函数进行操作，将RDD进行转换。Block-Manager管理RDD的物理分区，每个Block就是结点上对应的一个数据块，可以存储在内存或者磁盘。
而RDD中的partition是一个逻辑数据块，对应相应的物理块Block。本质上一个RDD在代码中相当于是数据的一个元数据结构，存储着数据分区及其逻辑结构映射关系，存储着RDD之前的依赖转换关系。
2 弹性分布式数据集
在集群背后，有一个非常重要的分布式数据结构，即弹性分布式数据集（resil