Hive笔记

Hive的基本概念

• Hive是由Facebook实现并开源的,是基于hadoop的一个数据仓库工具,他的作用就是将结构化的数据映射为一张数据库表,并提供HQL(Hive SQL)语句的查询功能,底层数据是存储在HDFS上.
• HIve的本质:将SQL语句转换为MapReduce任务运行,使不熟悉MapReduce的用户很方便利用HQL处理计算HDFS上的结构化的数据,是一款基于HDFS的MapReduce计算框架
• 主要的用途: 用来做离线数据分析,比直接MapReduce开发效率更高
• 优点:
  • 操作接口采用类SQL语法,提供快速开发的能力
  • 避免了去写MapReduce,减少开发人员的学习成本
  • 功能拓展很方便
• 缺点:
  • 人员的学习成本太高
  • Mapreduce实现复杂查询逻辑开发难度太大
• 和gadoop的关系
  • Hive利用了HDFS存储数据,利用MapReduce查询分析数据
  • Hive是数据仓库工具,没有集群的概念,如果想提交Hive作业需要在hadoop集群Master节点上装Hive就可以了

Hive架构

在这里插入图片描述

Hive组件

• 用户接口:包括CLI,JDBC/ODBC,WebGUI
  • CLI为shell命令行
  • JDBC/ODBC是Hive的JAVA实现,与传统数据库JDBC类似
  • WebGUI是通过浏览器访问Hive
  • HiveServer2基于Thrift,允许远程客户端使用多种编程语言如Java,Python向Hive提交请求
• 元数据存储:通常是存储在关系数据库如mysql/derby中
  • Hive将元数据存储在数据库中
  • Hive中的元数据包括
    • 表的名字
    • 表的列
    • 分区及其属性
    • 表的属性
    • 表的数据所在目录等
• 解释器,编译器,优化器,执行器:完成HQL查询语句从词法分析,语法分析,编译,优化以及查询计划的生成.生成的查询计划存储在HDFS中,并在随后由MapReduce调用执行

Hive数据模型

• Hove中给所有的数据都存储在HDFS中,没有专门的数据存储格式
• 在创建表的时候指定数据中的分隔符,Hive就可映射成功,解析数据
• Hive中包含以下数据模型
  • db:在hdfs中改变现为hive.metastore.warehouse.dir目录下一个文件夹
  • table:在hdfs中表现所属db目录下一个文件夹
  • external table:数据存放位置可以在HDFS任意指定路径
  • partition:在hdfs中表现为table目录下的子目录
  • bucket:在hdfs中表现为同一个表目录下根据hash三列之后的多个文件

Hive安装部署

• 安装Hive前需要安装好JDK和Hadoop.配置好环境变量

• 先下载Hive的安装包 后面的必须是CDH的如果不是可能在运行的过程中会出错

• 根据元数据存储的介质不同,分为下面两个版本,其中derby属于内嵌模式.实际生产环境则使用mysql来进行元数据存储

  • 内置derby版:bin/hive启动即可使用
    • 缺点:
      • 不同的路径启动hive,每一个hive拥有一套自己的元数据,无法共享
  • mysql版

Hive的启动

• 启动docker

  service docker start
  

• 通过docker启动mysql

  docker start mysql
  

• 启动hive的metastore元数据服务

  hive --service metastore
  

• 启动hive

  hive
  

Hive的内部表和外部表

	内部表(managed table)	外部表(external table)
概念	创建表时无external修饰	创建表时被external修饰
数据管理	由Hive自身管理	由HDFS管理
数据保存位置	hive.metastore.warehouse.dir （默认：/user/hive/warehouse）	hdfs中任意位置
删除时影响	直接删除元数据（metadata）及存储数据	仅会删除元数据，HDFS上的文件并不会被删除
表结构修改时影响	修改会将修改直接同步给元数据	表结构和分区进行修改，则需要修复（MSCK REPAIR TABLE table_name;）

分区表

• 什么是分区表

  • 随着表的不断增大,对于新纪录的增加,查找,删除等(DML)的维护也更加困难,对于数据库中的超大型表,可以通过把他的数据分成若干个小表,从而简化数据库的管理活动,对于每一个简化的小表,我们称为一个单个的分区
  • hive中分区表实际是对应hdfs文件系统上独立文件夹,该文件夹的文件是分区所有数据文件
  • 分区可以理解成分类,通过分类把不同类型的数据放到不同的目录下
  • 分类的标准就是分区字段,可以一个,也可以多个
  • 分区表的意义在于优化查询,查询时尽量利用分区字段,如果不使用分区字段,就会全部扫描

• 分区表的简单操作

  # 创建分区表
  create table employee (name string,salary bigint) partitioned by (date1 string) row format delimited fields terminated by ',' lines terminated by '\n' stored as textfile;
  
  # 查看表的分区
  show partitions employee;
  
  # 添加分区
  alter table employee add if not exists partition(date1='2018-12-01');
  
  # 加载数据到分区
  load data local inpath '/root/tmp/employee.txt' into table employee partition(date1='2018-12-01');
  
  如果重复加载同名文件，不会报错，会自动创建一个*_copy_1.txt
  
  

• 分区表的总结

  • 利用分区表方式减少查询时需要扫描的数据量
    • 分区字段不是表中的列,数据文件中没有对应的列
    • 分区仅仅是一个目录名
    • 查看数据时,hive会自动添加分区列
    • 支持多级分区,多级子目录

动态分区

• 在写入是自动创建分区

• 创建表

  create table employee2 (name string,salary bigint) partitioned by (date1 string) row format delimited fields terminated by ',' lines terminated by '\n' stored as textfile;
  

• 导入数据

  insert into table employee2 partition(date1) select name,salary,date1 from employee;
  

• 使用动态分区需要设置参数

  set hive.exec.dynamic.partition.mode=nonstrict;
  

Hive函数

• Hive自定义函数和Transfrom
  • UDF
    • 当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用自定义函数
    • TRANSFORM,and UDF and UDAF
      • UDF:就是一个mapper,对每一条输入数据,映射为一条输出数据
      • UDAF:就是一个reducer,把一组输入数据映射为一条(或多条)输出数据