Hive学习笔记

Hive是基于Hadoop文件系统上的数据仓库架构。

 

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

本质是将SQL转换为MapReduce程序

 

它为数据仓库的管理提供了许多功能：

   数据ETL(抽取，转换和加载)工具

   数据存储管理

   大型数据集的查询与分析

   定义了类SQL的语言——Hive QL

 

Hive的数据存储是建立在Hadoop文件系统之上的。Hive本身没有专门的数据存储格式，也不能为数据建立索引，用户可以非常自由地组织Hive中的表，只需在创建表时告诉Hive数据中的列分隔符和行分隔符就可以解析数据了。

Hive主要包括4类数据模型：表，外部表，分区，桶。

 

Hive中的表和数据库中的表在概念上类似，每个表在Hive中都有一个对应的存储目录。

Hive中每个分区对应数据库中相应分区列的一个索引，但分区的组织方式和传统关系型数据库不同。在Hive中，表中的一个分区对应表下的一个目录，所有分区的数据都存储在对应目录中。

 

Hive的特点

•可扩展

　　Hive可以自由的扩展集群的规模，一般情况下不需要重启服务

•延展性

　　Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数

•容错

　　良好的容错性，节点出现问题SQL仍可完成执行

 

 

 

 

 

 

转载于:https://www.cnblogs.com/jawiezhu/p/4437013.html