初识Hive

 HiveSQL是一种类似于SQL语言的工具，作为海量数据分析的SQL查询引擎，因相对简单易上手，被越来越多的人使用与喜爱，比如我们常见的数据分析师、BI报表工程师、数仓工程师等岗位，这些岗位的同事们基本上都是HiveSQL的粉丝（包括我也是）。下面就大概记录一下自己对HiveSQL的认识。

理解Hive

• 基于Hadoop的数据仓库工具，对MapReduce的一个封装，底层就是MapReduce程序，HiveSql替代了复杂的MapReduce程序
• 将Hdfs中的结构化数据映射为一张虚表，并提供sql查询语句
• Hive没有服务端，它的本质是Hdfs的客户端，对Hdfs中的数据与 Meta store中的元数据进行操作

Hive的架构与原理

• 2个客户端

CLC命令行客户端（在shell上执行脚本）

 JDBC客户端

• 4个驱动器

SQL Parser解析器：检查sql语法是否正确

Pysical Plan编译器：把sql转换为MapReduce任务

Query Optimizer优化器：优化sql查询语句

Execution执行器：执行MapReduce任务

• 元数据Meta Store

Meta Store用来存放Hive的元数据信息，如Hive中的表名、列/分区字段、表的类型（内部表or外部表）、表所属数据库、表所在的目录、表的用户权限等

Meta Store默认存放在Hive自带的derby数据库中，但derby无法实现并发，所以Meta Store一般存放在外部mysql数据库中

通过元数据信息能找到表字段，然后把表字段映射到结构化数据中，最终形成一张虚表

Hive与常规数据库的区别

• 数据存储的位置

Hive处理的结构化数据存放在Hdfs上，元数据一般放在外部mysql数据库中

数据库是把数据放在块设备或本地文件系统中

• 数据的更新

Hive适用于静态数据，主要用作数据的查询与分析

数据库适用于动态数据，主要用作数据的实时更新

• 执行的机制

Hive的查询引擎一般是Hadoop的MapReduce

数据库的查询引擎一般是InnerDB

• 执行的延迟

Hive没有索引，通过MapReduce执行查询任务，延迟比较高

数据库延迟低，但不适合做海量数据查询

• 扩展性

Hive构建在Hadoop上，可扩展性强，支持并发运行

数据库可扩展性差

参考文章

https://blog.csdn.net/wx1528159409/article/details/84667658