Hive原理详解

背景

• 引入原因：
  1. – 对存在HDFS上的文件或HBase中的表进行查询时，是要手工写一堆MapReduce代码
  2. 对于统计任务，只能由动MapReduce的程序员才能搞定
  3. 耗时耗力，更多精力没有有效的释放出来
• Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行查询、统计和分析
  
  

1.数据库的原理

       其实通常所说的将数据存储到数据库，并不是真的存储到数据库，数据库不过是在你和你的磁盘间弄了个软件层，其实你的数据还是被作为源数据存储到你本地的磁盘上了，但是只有源数据还不够，他还存储了元数据(数据库存储结构定义信息（库，表，列，定义信息)

2.什么是Hive

• Hive是一个SQL解析引擎，将SQL语句转译成MR Job，然后再Hadoop平台上运行，达到快速开发的目的。
• Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。本质就是Hadoop的目录/文件，达到了元数据与数据存储分离的目的
• Hive本身不存储数据，它完全依赖HDFS和MapReduce。
• Hive的内容是读多写少，不支持对数据的更新
• Hive中没有定义专门的数据格式，由用户指定，需要指定三个属性：
  1. 列分隔符
  2. 行分隔符
  3. 读取文件数据的方法

3.HQL与传统SQL的区别

	HQL	SQL
数据存储	HDFS(源数据)、MySql或者Derby(元数据)	local FS
数据格式	用户自定义	系统决定
数据更新	不支持	支持
索引	有	有
执行	MapReduce	Executor
数据规模	大	小
数据检查	读时模式	写时模式

什么是读时模式？
       很少情况下往hive中加载的数据是比较规整的，字段与字段之间都是分割好的，每一个字段都不是脏数据，并且每一个字段都是有意义的。
但是在真实场景中不见得这个尽人意，当你把不符合某个表规范的脏数据插入到这个表中，不会出错，但是当你读这个表的时候，脏数据读出的是NULL。

4. Hive的原理

4.1 Hive简介

        hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。其本质还是在HDFS上执行MapReduce，虽然简化了操作，但是执行效率会相对减弱。
        Hive数据仓库中包含着解释器、编译器、优化器等，这些是其独有的部分，用于将sql语句变成MapReduce去执行，后续的工作就自动交给了Hadoop、Yarn和MapReduce，Hive在运行时，实际的源数据存在与HFDS上，而描述数据的元数据存放在关系型数据库中。
        有人说hive既能存储也能计算，这句话也对也不对，因为hive只是通过解释器、编译器、优化器来把SQL变为MR，它的存储也是交给了HDFS的。

1. Hive数据仓库完成解析SQL、优化SQL、策略选择、模型消耗；客户端将sql语句交给Hive，Hive负责值使相对应的MapReduce执行。
2. 存在于关系型数据库中的元数据包含着行的分隔符、字段的分隔符、字段的类型、字段的名称等信息。
   
   
   

5.Hive体系架构

5.1 Hive的基本组成

用户接口主要有三个：CLI，Client 和 WUI。

元数据存储：通常是存储在关系数据库如 mysql , derby中。 语句转换：解释器、编译器、优化器、执行器。

5.2 各组件的基本功能

        用户接口主要由三个：CLI、JDBC/Beeline和WebGUI。其中，CLI为shell命令行；JDBC/Beeline是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。


元数据存储：Hive 将元数据存储在数据库中(MySql或者Derby)。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。


解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS 中，并在随后有 MapReduce 调用执行。

5.3 Hive和Hadoop的关系

5.4 Hive的数据管理

• hive的表本质就是Hadoop的目录/文件,由配置文件设置目录。
  -hive默认表存放路径一般都是在你工作目录的hive目录里面，按表名做文件夹分开，如果你有分区表的话&