Hadoop简介

1.1  Hadoop简介

Hadoop本质上起源于Google的集群系统，Google的数据中心使用廉价的Linux PC机组成集群，用其运行各种应用。即使是分布式开发的新手也可以迅速使用Google的基础设施。Google采集系统的核心的组件有两个：第一个就是GFS（Google FileSystem），一个分布式文件系统，隐藏下层负载均衡，冗余复制等细节，对上层程序提供一个统一的文件系统API接口；第二个是MapReduce计算模型，Google发现大多数分布式运算可以抽象为MapReduce操作。Map是把输入Input分解成中间的Key/Value对，Reduce把Key/Value合成最终输出Output。这两个函数由程序员提供给系统，下层设施把Map和Reduce操作分布在集群上运行，并把结果存储在GFS上。

而Hadoop就是Google集群系统的一个Java开源实现，是一个项目的总称，主要是由HDFS、MapReduce组成。其中HDFS是Google File System（GFS）的开源实现；MapReduce是Google MapReduce的开源实现。这个分布式框架很有创造性，而且有极大的扩展性，使Google在系统吞吐量上有很大的竞争力。在2006年时Hadoop就受到了Yahoo的支持，目前Yahoo内部已经使用Hadoop代替了原来的分布式系统并拥有了世界上最大的Hadoop集群。

Hadoop实现了HDFS文件系统和MapReduce，使Hadoop成为一个分布式的计算平台。用户只要分别实现Map和Reduce，并注册Job即可自动分布式运行。因此，Hadoop并不仅仅是一个用于存储的分布式文件系统，而是用于由通用计算设备