今天对Hadoop的学习感悟

今天是实习第一天，学习了关于Hadoop的知识点，我总结了一下今天的学习情况：

一、分布式系统和集群

        1、分布式概念：分布式是指将多台服务器集中在一起，每台服务器都实现总体中的不同业务，做不同的事情

        1.2单机模式：该模式相当于一个餐厅的厨房只有一个人，这个人既要买菜、又要切菜、还要炒菜，效率很低！

        1.3分布式模式：该模式相当于一个餐厅的厨房有三个人，一个人买菜、一个人切菜、一个人炒菜，效率提高了！

        2、集群 概念：所谓集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机联合起来工作(服务)，可以是并行的，也可以是做备份。

        3、分布式的基础架构：一是去中心化模式，二是中心化模式

        3.1去中心化模式概念：去中心化模式，没有明确的中心。众多服务器之间基于特定规则进行同步协调。

        3.2中心化模式：以一个服务器为中心

        4、主从模式 ：大数据框架，大多数的基础架构上，都是符合：中心化模式的。即：有一个中心节点（服务器）来统筹其它服务器的工作，统一指挥，统一调派，避免混乱。这种模式，也被称之为：一主多从模式，简称主从模式（Master And Slaves）我们学习的Hadoop框架，就是一个典型的主从模式（中心化模式）架构的技术框架。

        5、分布式和集群区别：分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事，而集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事

        6、Hadoop是主从模式（中心化模式）的架构模式

二、Hadoop框架概论

        1、Hadoop介绍：Hadoop是Apache软件基金会下的顶级开源项目，用以提供：• 分布式数据存储• 分布式数据计算• 分布式资源调度为一体的整体解决方案。

        2、Hadoop的功能：通常意义上，Hadoop是一个整体，其内部还会细分为三个功能组件，分别是：HDFS组件、MapReduce组件、YARN组件。

        3、Hadoop框架内容：

        狭义解释：Hadoop指Apache这款开源框架，它的核心组件有： HDFS（分布式文件系统）：解决海量数据存储、 MAPREDUCE（分布式运算编程框架）：解决海量数据计算、 YARN（作业调度和集群资源管理的框架）：解决资源任务调度；

        广义解释：广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

        4、Hadoop发展： 

        Hadoop创始人：Doug Cutting

        Hadoop起源于Apache Lucene子项目：NutchNutch的设计目标是构建一个大型的全网搜索引擎。遇到瓶颈：如何解决数十亿网页的存储和索引问题；

        Google三篇论文《The Google file system》：谷歌分布式文件系统GFS《MapReduce: Simplified Data Processing on Large Clusters》：谷歌分布式计算框MapReduce《Bigtable: A Distributed Storage System for Structured Data》：谷歌结构化数据存储系统

        5、Hadoop版本：

        发行版：Hadoop发行版本分为开源社区版和商业版。开源社区版:指由Apache软件基金会维护的版本，是官方维护的版本体系,版本丰富，兼容性稍差。 商业版:指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试

而发行的版本，比较著名的有cloudera的CDH等。

        三大版本1.x版本系列：hadoop的第二代开源版本，该版本基本已被淘汰2.x版本系列：架构产生重大变化，引入了Yarn平台等许多新特性,是现在使用的主流版本。 3.x版本系列: 该版本是最新版本。

        6、Hadoop架构 ：Hadoop架构模块、Hadoop2.x架构内部模型-HDFS和Yarn、Hadoop2.x架构模型-MapReduce

        7、Hadoop模块之间的关系：MapReduce计算需要的数据和产生的结果需要HDFS来进行存储，MapReduce的运行需要由Yarn集群来提供资源调度。

        

总结：今天实习的第一天学习了hadoop的知识点，对hadoop的了解又有了新的认识，在宿舍也在虚拟机进行了hadoop的搭建，只不过现在还没配置完，不过明天应该...嗯...能弄完... 又是一天过去了，期待着明天的到来。