Hadoop入门零：简单介绍

本文内容来自尚硅谷hadoop课程

目录

1、Hadoop是什么？

2、Hadoop的发展历史

3、Hadoop的三大发行版本

4、Hadoop优势（4高）

5、Hadoop的组成

HDFS架构概念

 yarn的架构

MapReduce的架构

6、大数据系统的生态体系

7、大数据推荐系统框架图

最后

---

1、Hadoop是什么？

1) Hadoop是一个由 Apache基金会所开发的分布式系统基础架构

2)主要解決,海量数据的存储和海量数据的分析计算问题

3)广义上来说, Hadoop通常是指一个更广泛的概念 -Hadoop生态圈

2、Hadoop的发展历史

1) Lucene框架是 Doug Cutting开创的开源软件,用ava书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的査询引擎和索引引擎。 

2)2001年年底 Lucene成为 Apache基金会的一个子项目。

3)对于海量数据的场景, Lucene面对与 Google同样的困难,存储数据困难,检索速度慢。

4)学习和模仿 google解决这些问题的办法:微型版Nutch。

5)可以说Google是 Hadoop的思想之源 Google在大数据方面的三篇论文)

GFS -->HDFS

Map-reduce--->MR

Bigtable --->Hbase

6)2003-2004年，Google公开了部分GFS和MapReduce思想的细节，已此为基础Doug Cutting等人用了两年业余时间实现了DFS和MapReduce机制，使Nutch的性能飙升。

7)2005年Hadoop作为Lucene的子项目Nutch的一部分，正式引入Apache基金会。

8)2006年三月，MapReduce和Nutch Distributed File System（NDFS）分别被纳入Hadoop的项目中。

9)名字来源Doug Cutting儿子的玩具大象。

10)Hadoop就此诞生并迅速发展，标志着大数据时代的到来。

3、Hadoop的三大发行版本

三大发行版本：Apache、Cloudera、Hortonwork

Apache版本最原始(最基础)的版本,对于入门学习最好。

Cloudera在大型互联网企业中用的较多。

Hortonworks文档较好。

4、Hadoop优势（4高）

1)高可靠性: Hadoop底层维护多个数据副本,所以即使 Hadoop某个计算元素或存储岀现故障,也不会导致数据的丟失。

2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点

3)高效性:在 Mapreduce的思想下, Hadoop是并行工作的,以加快任务处理速度。

4)高容错性:能够自动将失败的任务重新分配。

5、Hadoop的组成

HDFS架构概念

1) Namenode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的 Datanode等。

 yarn的架构

MapReduce的架构

MapReduce将计算过程分为两个阶段，Map和Reduce

1)Map阶段并行处理输入数据

2)Reduce阶段对Map结果进行汇总

6、大数据系统的生态体系

7、大数据推荐系统框架图

最后

声明：本文内容出自阿里云官网上大数据开发工程师学习路径下的尚硅谷网课。