Hadoop

一.Hadoopd的生态圈

1、HDFS
    HDFS：是一个分布式文件系统。

2、MapReduce
    MapReduce是一个分布式、并行处理的编程模型。

3、YARN
    是一个分布式资源管理系统，主要负责整个系统的资源管理和调度。

4、HBase
    HBase是一个建立在HDFS之上的面向列的数据库，用于快速读/写大量数据。HBase使用ZooKeeper进行管理，以确保所有组件都能正常运行。

5、ZooKeeper
    ZooKeeper是分布式协调服务的框架。

6、Hive
    Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，可以将SQL语句转换为MapReduce任务运行。
Hive的执行原理就是：将SQL语句翻译为MapReduce作业，并提交到Hadoop集群上运行。

7、Pig
    Pig是一个用于并行计算的高级数据流语言和执行框架，有一套和SQL类似的执行语句，处理的对象时HDFS上的文件。Pig的数据处理语言采取数据流方式，一步一步地进行处理。

8、Sqoop
    Sqoop是一个用于在关系数据库、数据仓库（Hive）和Hadoop之间转移数据的框架。可以借助Sqoop完成关系型数据库到HDFS、Hive、HBase等Hadoop生态圈中框架的数据导入导出操作，其底层也是通过MapReduce作业来实现的。

9、Flume
    Flume是由Cloudera提供的一个分布式、高可靠、高可用的服务，是用于分布式的海量日志的高效收集、聚合、移动/传输系统的框架；Flume是一个基于流式数据的非常简单的（只需要一个配置文件）、灵活的、健壮的、容错的架构。

10、Oozie
    Oozie是一个工作流调度引擎，在Oozie上可以执行MapReduce、Hive、Spark等不同类型的单一或者具有依赖性（后一个作业的执行依赖于前一个或者多个作业的成功执行）的作业。类似的在大数据中使用的工作流调度引擎还有Azkaban。

11、Mahout
    Mahout是一个机器学习和数据挖掘库，它提供的MapReduce包含很多实现，包括聚类算法、回归测试、统计建模.

二。Mapreduce的特点

1. 易于编程。它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器运行。 也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点，使得 MapReduce 编程变得非常流行。

2. 良好的扩展性。当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。

3. 高容错性。 MapReduce 设计的初衷就是使程序能够部署在廉价的PC机器上， 这就要求它具有很高的容错性。 比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于使这个任务运行失败，而且这个过程不需要人工干预，完全 Hadoop 内部完成的

4. 能对PB级以上海量数据进行离线处理。适合离线处理而不适合实时处理， 比如要求毫秒级别的返回一个结果， MapReduce 很难做到。

三。spark的特点与Mapreduce的不同

1、Spark处理数据是基于内存的，而MapReduce是基于磁盘处理数据的

MapReduce是将中间结果保存到磁盘中，减少了内存占用，牺牲了计算性能。

Spark是将计算的中间结果保存到内存中，可以反复利用，提高了处理数据的性能。

2、Spark在处理数据时构建了DAG有向无环图，减少了shuffle和数据落地磁盘的次数

Spark计算比MapReduce快的根本原因在于DAG计算模型。一般而言，DAG相比MapReduce在大多数情况下可以减少shuffle次数。Spark的DAGScheduler相当于一个改进版的MapReduce，如果计算不涉及与其他节点进行数据交换，Spark可以在内存中一次性完成这些操作，也就是中间结果无须落盘，减少了磁盘IO的操作。但是，如果计算过程中涉及数据交换，Spark也是会把shuffle的数据写磁盘的。

3、Spark比MapReduce快

有一个误区，Spark是基于内存的计算，所以快，这不是主要原因，要对数据做计算，必然得加载到内存，Hadoop也是如此，只不过Spark支持将需要反复用到的数据Cache到内存中，减少数据加载耗时，所以Spark跑机器学习算法比较在行（需要对数据进行反复迭代）。

4、Spark是粗粒度资源申请，而MapReduce是细粒度资源申请

粗粒度申请资源指的是在提交资源时，Spark会提前向资源管理器（YARN，Mess）将资源申请完毕，如果申请不到资源就等待，如果申请到就运行task任务，而不需要task再去申请资源。

MapReduce是细粒度申请资源，提交任务，task自己申请资源自己运行程序，自己释放资源，虽然资源能够充分利用，但是这样任务运行的很慢。

四。冷备和热备

热备：的情况下，只有主数据中心承担用户的业务，在不停机情况下对主数据中心进行备份，一般用于保证服务正常不间断运行，用两台机器作为服务机器，一台用于实际数据库操作应用,另外一台实时的从前者中获取数据以保持数据一致.如果当前的机器熄火,备份的机器立马取代当前的机器继续提供服务。

冷备：的情况下，也是只有主数据中心承担业务，在停机情况下对主数据中心进行备份，当目标设备发生故障或停机后，冷备设备才开始由停机等待状态进入启动运转状态，并承担起故障设备的工作任务。

五。数据类型