【大数据】Hadoop介绍

一、Hadoop是什么

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。

Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

二、Hadoop版本介绍

hadoop1：有两个核心模块，hdfs+MR（MapReduce）

hadoop2：有三个核心模块，hdfs+MR+yarn

yarn：资源协调管理框架

HDFS：负责Hadoop生态圈的数据存取工作

MapReduce：负责Hadoop生态圈的数据运算工作

三、Hadoop优点

1. Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。
2. Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。
3. Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。
4. Hadoop 还是可伸缩的，能够处理PB级数据。
5. 此外，Hadoop 依赖于社区服务，因此它的成本比较低，任何人都可以使用。
6. Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:
7. Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。