初识HIVE

Hive概述

1. hive是什么？
   基于Hadoop、数据仓库、结构化、类SQL、MapReduce任务
2. 架构
   

• 基本组成（用户接口）
  CLI
  JDBC/ODBC
  Web UI
• 元数据存储
  1）元数据是什么？
  存储在Hive中的数据的描述信息
  2）有哪些？
  表的名、表的列和分区以及属性（内部表和外部表）、表的数据所在目录
  3）存在哪儿？
  自带Derby。缺点：不适合多用户操作，并且数据存储目录不确定
  4）解决方案
  存在自己创建的MySQL中（本地或远程）
• 解释器、编译器、优化器、执行器
  这四大组件完成 HQL 查询语句从词法分析、语法分析、编译、优化以及生成查询计划的生成。生成的查询计划存储在 HDFS 中，并随后由 MapReduce 调用执行
  -执行流程
  HiveQL 通过命令行或者客户端提交，经过 Compiler 编译器，运用 MetaStore 中的元数据进行类型检测和语法分析，生成一个逻辑方案(logical plan)，然后通过的优化处理，产生一个 MapReduce 任务

Hive和Hadoop的关系

Hive 将 HQL 转换成 MapReduce 执行， Hive 依赖于 HDFS 存储数据
所以说 Hive 是基于 Hadoop 的一个数据仓库工具，实质就是一款基于 HDFS 的 MapReduce 计算框架

Hive和RDBMS对比

总结:Hive 具有 SQL 数据库的外表，但应用场景完全不同， Hive 只适合用来做批量海量数据统计分析，也就是数据仓库

Hive的数据存储

1. 数据存储格式
   可支持 TextFile、SequenceFile、 ParquetFile、RCFILE 等
2. 解析数据
   只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符
3. 数据模型

• db
  在 HDFS 中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
• able
  在 HDFS 中表现所属 db 目录下一个文件夹
• external table
  与 table 类似，不过其数据存放位置可以在任意指定路径
• partition
  在 HDFS 中表现为 table 目录下的子目录
• bucket
  在 hdfs 中表现为同一个表目录下根据 hash 散列之后的多个文件