Hive-基本概念

hive

---

1-hive简介

• 1.1什么是 Hive

  • Hive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。
  • Hive 本质: 将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的结构化的数据,是一款基于 HDFS 的 MapReduce 计算框架
  • 主要用途：用来做离线数据分析，比直接用 MapReduce 开发效率更高。

• 1.2为什么使用 Hive

  • 直接使用 Hadoop MapReduce 处理数据所面临的问题：
    • 人员学习成本太高
    • MapReduce 实现复杂查询逻辑开发难度太大
  • 使用 Hive
    • 操作接口采用类 SQL 语法，提供快速开发的能力
    • 避免了去写 MapReduce，减少开发人员的学习成本
      功能扩展很方便

2-Hive 架构

Hive 架构图

Hive 组件

• 用户接口：包括 CLI、JDBC/ODBC、WebGUI。
  • CLI(command line interface)为 shell 命令行
  • JDBC/ODBC 是 Hive 的 JAVA 实现，与传统数据库JDBC 类似，通过Thrift Server, 允许远程客户端使用多种编程语言如Java、Python向Hive提交请求
  • Web UI 是通过浏览器访问 Hive。
• 元数据存储：通常是存储在关系数据库如 mysql/derby 中。
  • Hive 将元数据存储在数据库中。
  • Hive 中的元数据包括
    • 表的名字
    • 表的列
    • 分区及其属性
    • 表的属性（是否为外部表等）
    • 表的数据所在目录等。
• 解释器、编译器、优化器、执行器:完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后由 MapReduce 调用执行
  Hive 与 Hadoop 的关系

  • Hive 利用 HDFS 存储数据，利用 MapReduce 查询分析数据。

  • Hive是数据仓库工具，没有集群的概念，如果想提交Hive作业只需要在hadoop集群 Master节点上装Hive就可以了

3- Hive 与传统数据库异同

• hive 用于海量数据的离线数据分析。
  
• hive支持的数据类型
  • 原子数据类型
  • TINYINT SMALLINT INT BIGINT BOOLEAN FLOAT DOUBLE STRING BINARY TIMESTAMP DECIMAL CHA