大数据学习（三）一分钟搞明白hive在底层是如何运作的

前言：为什么我们钟爱hive？hive提供了一个被称为hive查询语言的sql方言，来查询存储在hadoop集群中的数据。作为用户的我们无需再过多关注如何使用jiva语言去实现数据运算，学会了hql查询，我们仅需要关注查询本身了，省了不少力气。

有同学会好奇，hive在底层到底是如何运作的呢？今天我们来一探究竟

一、hardoop介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

hadoop核心主要由两部分组成分别是MapReduce（编程模型，负责计算）、HDFS（分布式文件系统，负责存储）。

二、mapreduce概述

首先我们要搞明白何为mapreduce。MapReduce是一种编程模型，该模型可以将大型数据处理任务分解成很多单个的、可以在服务器集群中并行执行的任务。这些任务的计算结果可以合并在一起来计算最终的结果。

mapreduce=map过程+reduce过程，如图所示：

具体过程可参考《MapReduce：大数据之上的简化数据处理》

三、HDFS概述

HDFS hardoop分布式文件系统，管理集群里面的数据。

四、Yarn

Apache Hadoop YARN (Yet Another Resource Negotiator，另一种资源协调者)是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度