理解Hadoop & Spark

Hadoop

Spark

1. Spark与Hadoop的关系

2. Spark的特点

3. Spark架构&工作流程

名词解释

运行过程

补充Job，Stage，Task的关系

DAG和RDD是什么

RDD的相关操作(creation, transformation, action)

开发者需要做哪部分工作

---

Hadoop

在大数据的背景下，我们需要分布式数据存储和处理的工具，来解决一些现实问题(如：基础设施崩溃(hardware broken/network failure)；data combination(处理来自多个源头的数据))(这些问题都是集中式系统面临的挑战)。因此Hadoop系统得到广泛应用。

Hadoop系统分为两部分，HDFS(hadoop distributed file system) 和 MapReduce(processing framework)。 HDFS是分布式文件系统，可以进行创建、删除、移动、重命名文件、读/写文件等操作。有一个NameNode和多个DataNode，NameNode负责管理文件系统的名字空间和控制外部客户机的访问；DataNode 提供存储块，存储在 HDFS 中的文件被分成块，然后将这些块复制到多个计算机中（DataNode）中。NameNode 决定是否将文件映射到 DataNode 上的复制块上。HDFS 的主要目的是支持以流的形式访问写入的大型文件。下图为HDFS的读，写操作过程。