Hadoop官网地址:http://hadoop.apache.org/releases.html
一、大数据特点
Volume
大量:数据量大Velocity
高速:数据处理效率高Variety
多样:数据类型多样Value
低价值密度
二、Hadoop介绍
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算(MR
)和存储(HDFS
)。
通常我们说Hadoop可以单指Hadoop这一个框架,也可以指所有与Hadoop相关的分布式框架,如Zookeeper、Hive等。这些框架都基于Hadoop提供的分布式文件系统HDFS,共同构成了Hadoop生态圈。
三、Hadoop优点
- 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
- 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
- 高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
- 高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
- 低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。
四、Hadoop组成
从Hadoop2.x版本开始,加入了Yarn负责资源调度,Hadoop大致由四部分组成:
Common
:Hadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。HDFS
:分布式文件系统,实现分布式存储,保证数据的可靠性。Yarn
:负责调度内存、CPU、带宽等计算资源。MapReduce
:适合做离线计算和批处理的框架,可以替换。