大数据实验六Hive

 

一.Hive定义

1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类sql查询功能。Hive 没有专门的数据存储格式，也没有为数据建立索引，用户可以很自由的组织hive中的表，只要在创建表示告知hive数据中的列分隔符和行分隔符，它就可以解析数据。hive所有的数据都存储于HDFS中，它的本质是将SQL转换为MapReduce程序完成查询。

 

。

hive解释原文     hive （数据仓库工具）

2.hive架构：

HiveQL 通过命令行或者客户端提交，经过 Compiler 编译器，运用 MetaStore 中的元数 据进行类型检测和语法分析，生成一个逻辑方案(Logical Plan)，然后通过的优化处理，产生 一个 MapReduce 任务。

原文：https://www.cnblogs.com/qingyunzong/p/8707885.html

3.Hive数据模型

Hive中的数据模型主要有:表（Table)、分区（Partitions)、桶（Buckets)。

分区：按照经常查询的字段做不同的分区，从业务字段角度划分，主要用于查询。如按日志产生的日期列进行分区。

分桶：对列值哈希来组织数据的方式，从纯数据角度划分，主要就是用于抽样，表连接。

原文   Hive的数据模型

          Hive的数据模型

hive的元数据信息（ 57张表）存储在MySQL， 如，数据库相关的元数据表DBS：