Hadoop笔记——Hadoop概述

Hadoop官网地址：http://hadoop.apache.org/releases.html

一、大数据特点

• Volume大量：数据量大
• Velocity高速：数据处理效率高
• Variety多样：数据类型多样
• Value低价值密度

二、Hadoop介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算(MR)和存储(HDFS)。

通常我们说Hadoop可以单指Hadoop这一个框架，也可以指所有与Hadoop相关的分布式框架，如Zookeeper、Hive等。这些框架都基于Hadoop提供的分布式文件系统HDFS，共同构成了Hadoop生态圈。

三、Hadoop优点

1. 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
2. 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
3. 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
4. 高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
5. 低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

四、Hadoop组成

从Hadoop2.x版本开始，加入了Yarn负责资源调度，Hadoop大致由四部分组成：

1. Common：Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。
2. HDFS：分布式文件系统，实现分布式存储，保证数据的可靠性。
3. Yarn：负责调度内存、CPU、带宽等计算资源。
4. MapReduce：适合做离线计算和批处理的框架，可以替换。

五、大数据生态体系