Spark Core-第一章： RDD详解

Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。下面就带大家来学习今天的内容！

   往期内容：

• Spark基础入门-第一章：Spark 框架概述
• Spark基础入门-第二章：Spark环境搭建-Local
• Spark基础入门-第三章：Spark环境搭建-StandAlone
• Spark基础入门-第四章：Spark环境搭建-StandAlone-HA
• Spark基础入门-第五章：环境搭建-Spark on YARN
• Spark基础入门-第六章：PySpark库
• Spark基础入门-第七章：本机开发环境搭建
• Spark基础入门-第八章：分布式代码执行分析

---

一、为什么需要RDD?

分布式计算需要:

• • 分区控制
• • Shuffle控制
• • 数据存储\序列化\发送
• • 数据计算API
• • 等一系列功能

这些功能, 不能简单的通过Python内置的本地集合对象(如 List\ 字典等)去完成.我们在分布式框架中, 需要有一个统一的数据抽象对象, 来实现上述分布式计算所需功能.

这个抽象对象, 就是RDD

Spark起源

在Spark开山之作Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster

Computing这篇paper中(以下简称 RDD Paper)， Matei等人提出了RDD这种数据结构，文中开头对RDD的定义 是：

二、RDD定义

RDD (Resilient Distributed Dataset)叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可 分区、里面的元素可并行计算的集合。

• Dataset：一个数据集合，用于存放数据的。
• Distributed： RDD中的数据是分布式存储的，可用于分布式计算。
• Resilient： RDD中的数据可以存储在内存中或者磁盘中。

RDD (Resilient Distributed Dataset)弹性分布式数据集， 是Spark中最基本的数据抽象，代表一个不可变、可分区、里 面的元素可并行计算的集合。

所有的运算以及操作都建立在 RDD 数据结构的基础之上。

可以认为RDD是分布式的列表List或数组Array， 抽象的数据结构， RDD是一个抽象类Abstract Class和泛型Generic Type。

三、RDD的五大特性

• RDD 数据结构内部有五个特性(摘录RDD 源码)：
• 前三个特征每个RDD都具备的，后两个特征可选的。

四、WordCount案例分析