hadoop入门系列之一【hadoop简介】

1、Hadoop概述

hadoop是apache软件基金会旗下的一个开源分布式平台，以hadoop分布式文件系统(hadoop Distributed File System,HDFS)和MapReduce为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构，HDFS的高容错性、高伸缩性等优点允许用户将hadoop部署在低廉的机器上，形成分布式系统。MapReduce分布式编程模型允许用户在不了解分布式系统底层细节的情况下开发并行应用程序。用户可以利用hadoop轻松地组织计算机资源，从而搭建自己的分布式计算平台，并且可以充分利用集群的计算和存储能力，完成海量数据的处理，经过业界和学术界多年的锤炼，在实际处理数据和分析任务中担当着不可替代的角色。

2、hadoop功能与作用

为什么需要hadoop？高速发展的信息化社会中，信息增长速度很快，这些信息中又积累着大量的数据，其中包括个人数据和工业数据，我们需要对这些数据进行分析和处理，以获取更多有价值的信息，那么我们如何高效地存储管理这些数据，如何分析这些数据呢？这时可以选用hadoop系统，在处理这类问题时，它采用分布式存储方式来提高读写速度和扩大存储容量，采用MapReduce整合分布式文件系统上的数据，保证高速分析处理数据，与此同时还采用存储冗余数据来保证数据的安全性。

hadoop的HDFS具有高容错性，并且是基于Java语言开发的，这使得hadoop可以部署在低廉的计算机集群中，同时不限于某个集群中，同时不限于某个操作系统，hadoop中HDFS的数据管理能力，MapReduce处理任务时的高效率、以及它的开源性，使其在同类分布式系统大放异彩。

3、hadoop优势

hadoop是一个能够让用户轻松架构和使用的分布式计算平台，用户可以轻松地在hadoop上开发运行处理海量数据的应用程序，它主要有以下几个有点：

• 高可靠性，hadoop按位存储和处理数据的能力值得人们信赖。
• 高扩展性，hadoop是在可用的计算机簇间分配数据完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
• 高效性，hadoop能够在节点之间动态地移动数据，以保证各个节点的动态平衡，因此其处理速度的非常快。
• 高容错性，hadoop能够自动保存数据的多份副本，并且能够自动将失败的任务重新分配。

4、hadoop应用现状和发展趋势

在互联网领域hadoop以及遍地开花，Yahoo!通过集群运行hadoop，用以支持广告系统和web搜索的研究，FaceBook借助集群运行hadoop来支持其数据分析和机器学习，搜索引擎公司百度则用hadoop进行搜索日志的分析和网页数据挖掘工作，淘宝的hadoop系统用于存储并处理电子商务交易的相关数据，中国移动研究院基于hadoop的大云“BigCloud”系统对数据进行分析并对外提供服务。

hadoop目前已经取得了非常突出的成绩，随着互联网的发展，信的业务模式还将不断涌现出现，hadoop的应用也会从互联网领域向电信、电子商务、银行、生物制药等领域扩展，相信在未来，hadoop将会在更多的领域中扮演幕后英雄，为我们提供更加快捷优质的服务。