Hive简介，架构与工作流程，环境搭建

Hive简介

  现如今，数据可能是当下最赚钱的资源了。面对如此多的数据，Hadoop提供了完美的解决方案，使用分布式文件系统HDFS存储数据，使用MapReduce计算模型来处理数据。不过，仍然存在着一系列的挑战，例如：（1）用户如何从一个现有的数据基础结构转移到Hadoop上，而这个结构是基于传统的关系数据库和结构化查询语句（SQL）的。（2）MapReduce计算框架实在是太麻烦，比如用MapReduce来join两个文件需要好多的代码量（前面博客写过）。可不可以在文件上直接使用类似于SQL的语句来进行操作数据，不写Mapper和Reducer函数。这样的话，对大多数的工程师来说，是真的再好不过了，能够直接使用类似于SQL语句的方式来处理数据，真是太舒服了。基于这一系列问题，建立在Hadoop上的数据仓库Hive营运而生。

Hive提供了一种类SQL的查询语言，叫做HvieQL，一种声明式的语言，用户会提交声明式的查询，而Hive会将其转换为MapReduce job.大多数情况下，用户不需要了解Hive内部是如何工作的，这样可以专注于手头上的事情。

  Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

 

Hive 构建在基于静态批处理的Hadoop 之上，Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive 并不能够在大规模数据集上实现低延迟快速的查询，例如，Hive 在几百MB 的数据集上执行查询一般有