大数据技术之Hadoop简介与概述和安装后练习

一、HADOOP简介

Hadoop最初是由Apache Lucene项目的创始人Doug Cutting开发的文本搜索库，源自始于02年的Apache Nutch项目（一个开源的网络搜索引擎并且也是Lucene项目的一部分）。 在2004年，Nutch项目模仿GFS开发了自己的分布式文件系统NDFS，也就是HDFS的前身，04年，谷歌公司又发表了另一篇具有深远影响的论文，阐述了MapReduce分布式编程思想，05年，Nutch开源实现了谷歌的MapReduce。到了2006年2月，Nutch中的NDFS和MapReduce开始独立出来，成为Lucene项目的一个子项目，称为Hadoop。

➢Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构

➢Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中

➢Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce

二、Hadoop特点

Hadoop是对海量数据集进行分布式并行处理的高效、可靠、可伸缩的 软件框架，其特点如下：

➢高可靠性：多台机器构成集群，部分机器发生故障，剩余机器可以继续对外提供服务

➢高效性：成百上千台机器一起计算

➢高扩展性：可以不断往集群中添加机器

➢高容错性：