hadoop学习笔记 Hive和普通关系数据库比较

Hive和普通关系数据库比较

1.查询语言 HiveSQL
2.数据存储位置 Hive是建立在hadoop之上，数据存储在HDFS中；mySQL可以将数据保存在块设备或者本地文件系统中。
3.数据格式：
Hive中没有专门定义的数据格式。数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符("\t")、行分隔符（"\n"）、读取文件数据的方法（TextFile、SequenceFile、RCFile）；Hive在加载数据的过程中，不需要从用户数据格式转换到Hive定义的数据格式，Hive在加载的过程中不会对数据本身进行任何修改，只是将数据内容复制或者移动到相应的HDFS目录。
在数据库中，不同的数据库有不同的存储引擎，定义了自己的数据格式，所有的数据都会按照一定组织存储，所以数据库加载数据的时间会比较耗时。
4.数据更新：
Hive是针对数据仓库应用设计的，而数据仓库的内容是读多少写少，因此Hive不支持对数据的改写和添加，所有的数据都是在加载时确定好的。
数据库的数据通常需要进行修改，可以insert/update.
5.索引
Hive加载数据过程中不会对数据进行任何处理，甚至不会对数据进行扫描，因此也没有对数据中的某些KEY建立索引；Hive要访问数据中满足条件的特定值时，需要暴力扫描整个数据，访问延迟较高；由于MapReduce的引入，Hive可以并行访问数据，即使没有索引，对于大数据量的访问，Hive依然可以体现出优势。由于数据访问延迟较高，决定Hive不适合在线数据查询；数据库中通常会针对一个或者几个列创建索引，因此对于少量的特定条件的数据访问，数据库可以有很高的效率，较低的延迟。
6.执行
Hive中大多数查询的执行是通过hadoop提供的Mapreduce实现；数据库通常由自己的执行引擎。
7.执行延迟
Hive的执行延迟较高，原因是Hive查询数据时是全表扫描，而且Mapreduce框架本身具有较高的延迟；在使用Mapreduce执行Hive查询也有较高延迟；相对来说在数据规模较小的情况下，数据库的执行延迟较低，但数据规模一旦超过数据库处理能力，Hive的并行计算显出优势。
8.可扩展性
Hive的可扩展性非常好，建立在Hadoop上，因此Hive的可扩展性和Hadoop的可扩展性一样，Hadoop集群已经发展到了上千台。而数据库由于ACID语义的严格限制，扩展能力有限，目前最先进的并行数据库Oracle能扩展约100台。
9.数据规模
Hive建立在集群上，可以利用Mapreduce并行计算，可支持很大规模的数据。