Hive概述

产生背景

      1、MR编程不便性

      2、传统的RDBMS人员的需求

Hive是什么？

      Hive：由Facebook开源用于解决海量结构化日志的数据统计。

      Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序。

      Hive处理的数据存储在HDFS，执行程序运行在Yarn上。

      Hive底层的执行三个引擎：

             MapReduce（在Hive1.x的时代MapReduce是默认引擎，在Hive2.x标记MapReduce为过时版本）

            Tez

            Spark （生产环境正在使用的引擎）

     

      Hive定义一种类似SQL的查询语言：HQL 类SQL

             问题：HQL和SQL的关系？

             什么关系都没有，只是语法类似，Hive抄的MySQL的语法

             很多的SQL on Hadoop的语法都是和RDBMS非常类似的

Hive的发展历程

          08/2007: facebook

          05/2013: 0.11.0  Stinger Phase1  ORC HiveServer2

          10/2013: 0.12.0  Stinger Phase2  ORC improvement

          04/2014: 0.13.0  Stinger Phase3  Vectorized query engine  Tez（0.13版本后才能用）

         11/2014: 0.14.0  Stinger.next Phase 1  Cost-based optimizer(CBO基于成本的优化，代价的优化)

         01/2015: 1.0.0 （里程碑点）

Hive架构原理

1．用户接口：Client

      CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）

2．元数据：Metastore

      元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；

      元数据默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore

3．Hadoop

     使用HDFS进行存储，使用MapReduce/tez/spark引擎进行计算。

4．驱动器：Driver