带你了解分布式框架hadoop

初识hadoop

现在经常听到“大数据“这个名词，那是因为随着互联网、物联网等技术的快速普及和应用，现在我们的生活中时时刻刻被这些数据所包围。不管生活当中的大大小小的事情，背后都有相关的数据记录存储在存储空间中。

举个例子，你看到的这篇文章的内容是存储在数据库当中，你通过某个平台观看到该篇文章，那么你的浏览记录也会被记录在平台的数据存储空间中。

那么对于现在大数据量的时代，我们遇到的问题很简单，数据量呈指数增长（硬盘容量不断提升），但是硬盘的访问速度并未与时俱进有非常大的提升，硬盘数据的写入速度那就更不用提了，更慢。之前旧的处理方式无法满足现阶段的大数据量计算和读取的需求，互联网巨头谷歌优先推出MapReduce并行计算模型来处理大数据量计算。之后由Apache基金会在MapReduce的基础上研发了hadoop框架，它是一个分布式系统的基础架构，在用户不需要了解底层分布式细节的情况下，进行分布式程序的开发。从而利用分布式集群进行高速的存储和运算。

 

 

 

什么是hadoop

Hadoop是Apache旗下一个开源框架，用来开发与运行分布式应用程序来处理海量数据（大型数据集），hadoop不是指一个具体的软件或者应用，它是一个编程模型（思想）来处理实际的问题，它提供了一些基础模块或软件为此框架做支撑。主要学习的模块有：

1、Hadoop HDFS：分布式存储系统。

2、Hadoop YARN： 任务调度和集群资源管理的框架。

3、Hadoop MapReduce：一种基于Hadoop YARN的大型数据集并行计算处理系统。

4、其它模块，还有一些hadoop生态圈中的辅助工具，主要用于特定目的或者功能等，如：

​Hbase: 是一个分布式的、面向列的开源数据库。

​Hive：是基于Hadoop的一个数据仓库工具。

​Pig：运行在Hadoop上，是对大型数据集进行分析和评估的平台。

​Spark：Hadoop数据快速通用的计算引擎。

​ZooKeeper: 一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。

等等。上述每个模块有自己独立的功能，而模块之间又有相互的关联。通常我们所说的hadoop指的是hadoop的一个生态圈。

 

 

 

hadoop的优势

hadoop并不是第一个分布式计算的框架，但是hadoop框架为啥能从中脱颖而出，使得大家对分布式框架有了更多的了解和关注。主要有以下几点不同之处：

1、方便：hadoop部署不需要高昂的硬件设施，只需要一般的商用机器或者云计算的云服务器节点上即可完成部署运行。

2、可靠性：hadoop大部分是运行在商用的小型机上，就会存在机器出现一些物理故障，但是hadoop可以很好的处理此类故障发生时，数据处理不会出现问题。

3、可扩展，hadoop可以通过增加集群节点，有效的扩展提升处理数据和计算的速度。以便处理更大的数据集。

4、开发变得简单，假如没有hadoop框架的支持，自己要开发一个符合业务需求高效的并行代码将变得非常麻烦。