Hive原理详解

背景

• 引入原因：
  1. – 对存在HDFS上的文件或HBase中的表进行查询时，是要手工写一堆MapReduce代码
  2. 对于统计任务，只能由动MapReduce的程序员才能搞定
  3. 耗时耗力，更多精力没有有效的释放出来
• Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行查询、统计和分析
  
  

1.数据库的原理

       其实通常所说的将数据存储到数据库，并不是真的存储到数据库，数据库不过是在你和你的磁盘间弄了个软件层，其实你的数据还是被作为源数据存储到你本地的磁盘上了，但是只有源数据还不够，他还存储了元数据(数据库存储结构定义信息（库，表，列，定义信息)

2.什么是Hive

• Hive是一个SQL解析引擎，将SQL语句转译成MR Job，然后再Hadoop平台上运行，达到快速开发的目的。
• Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。本质就是Hadoop的目录/文件，达到了元数据与数据存储分离的目的
• Hive本身不存储数据，它完全依赖HDFS和MapReduce。
• Hive的内容是读多写少，不支持对数据的更新
• Hive中没有定义专门的数据格式，由用户指定，需要指定三个属性：
  1. 列分隔符
  2. 行分隔符
  3. 读取文件数据的方法

3.HQL与传统SQL的区别

	HQL	SQL
数据存储	HDFS(源数据)、MySql或者Derby(元数据)	local FS
数据格式	用户自定义	系统决定
数据更新	不支持	支持
索引	有	有
执行	MapReduce	Executor
数据规模	大	小
数据检查	读时模式	写时模式

什么是读时模式？