大数据介绍

大数据技术是基于谷歌在2004~2006年发表的3篇论文

第一篇论文  GFS  分布式文件系统

第二篇论文   MapReduce 分布式计算

第三篇论文 HBase 分布式存储

Hadoop发展历史：

Hadoop到目前为止一共有3个大版本

Hadoop1.0 

Hadoop2.0 

Hadoop3.0 

 

Hadoop1.0 是分布式计算框架基于分布式文件系统，将计算和文件耦合在一起，这就是造成了一下三个问题：

1、主节点可靠性差，没有热备

2、提交MapReduce作业过多，分布式计算无法调度

3、资源利用低，不能异构

1.0版本虽然存在问题，但是大数据的起点，为后面的大数据的发展提供了方向和基础

 

Hadoop2.0引入了资源管理与调度系统YARN，在分布式计算和分布式文件系统加入YARN，实现了解耦

并为大数据其他框架的发展提供了异构的可能。

YARN将集群内的所有计算资源抽象了一个资源池，资源池的维度是CPU和内存，YARN管理计算资源，HDFS管理存储资源。

 

所谓大数据平台，相当于把这个集群抽象成一台计算机，而隔离了底层的细节，让用户使用这个平台时，不会感觉到自己在使用一个分布式系统，而像是在使用一台计算机，很轻松地就可以让整个集群为他所用。

Hadoop可以理解为是一个计算机集群的操作系统，而Spark、MapReduce只是这个操作系统支持的编程语言而已。

HDFS是基于所有计算机文件系统之上的文件系统抽象。

YARN是基于所有计算机资源管理与调度系统之上的资源管理与调度系统抽象

Hadoop是基于所有计算机的操作系统之上的操作系统抽象。