hadoop概述-包括各个组件

1、Hadoop 是什么

1）Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构
分布式表示把一件大事拆分成小事去处理        基础架构表示这是其它框架的基础

2）主要解决，海量数据的存储和海量数据的分析计算问题。（hdfs\mapreduce）

3）广义上来说，HADOOP 通常是指一个更广泛的概念——HADOOP 生态圈

 上图就是服务器

---

2、Hadoop 发展历史

 

1）Lucene-->Doug Cutting 开创的开源软件，用 java 书写代码，实现与 Google 类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎
了解搜索框架
2）2001年年底Lucene成为apache基金会的一个子项目
3）对于大数量的场景，Lucene 面对与 Google 同样的困难（海量检索和存储）
4）学习和模仿 Google 解决这些问题的办法 ：微型版 Nutch
5）可以说Google 是 hadoop 的思想之源(Google 在大数据方面的三篇论文)
        GFS（google file system） --->HDFS
        Map-Reduce --->MR
        BigTable --->Hbase
6）2003-2004 年，Google 公开了部分GFS 和Mapreduce 思想的细节，以此为基础 Doug