Day2-Hive的多字段分区，分桶和数据类型

Hive

表结构

分区表

1. 多字段分区：需要使用多个字段来进行分区，那么此时字段之间会构成多层目录，前一个字段形成的目录会包含后一个字段形成的目录，从而形成多级分类的效果。例如商品的大类-小类-子类， 省市县、年级班级等

2. 案例

   1. 原始数据

      1 1 bob
      1 1 amy
      1 1 alex
      1 2 david
      1 2 cindy
      1 2 bruce
      1 3 balley
      1 3 danniel
      1 3 grace
      2 1 henry
      2 1 hack
      2 1 grace
      2 2 jack
      2 2 john
      2 2 lucy
      

   2. 多字段分区

      -- 建立临时表
      create table students_tmp (
          grade int,
          class int,
          name  string
      ) row format delimited fields terminated by ' ';
      -- 加载数据
      load data local inpath '/opt/hive_data/students' into table students_tmp;
      -- 建立分区表
      create table students (
          name string
      ) partitioned by (grade int, class int);
      -- 开启动态分区
      set hive.exec.dynamic.partition.mode = nonstrict;
      -- 动态分区
      insert into students partition (grade, class)
      select name, grade, class
      from students_tmp distribute by grade, class;
      -- 查看数据
      select * from students tablesample (5 rows);
      

分桶表

1. 当数据量比较大，但是又需要对数据进行大致的、快速的分析的时候，此时可以考虑对数据进行抽样处理。但是抽样的字段和要分析的字段之间不能有关联

2. 在Hive中，抽样方式非常多，其中一种方式就是对数据进行分桶：先计算分桶字段的哈希值，然后对桶的个数取余数，根据余数来决定将数据放入哪一个桶中

3. 注意：在Hive3.1.3之前的版本中，分桶表不支持load方式，只能是使用insert方式来插入数据来进行分桶；从Hive3.1.3开始，支持load方式，但是load方式效率非常低而且可能会不分桶

4. 案例

   -- 在Hive中，分桶机制默认是不开启的，所以需要先开启分桶机制
   set hive.enforce.bucketing = true;
   select *
   from heros;
   -- 建立分桶表
   -- 分了n个桶，就会产生n个ReduceTask，从而会产生n个结果文件
   -- 所以桶数越多，产生ReduceTask越多，占用集群的资源就越多
   create table hero_buckets (
       id      int,
       name    string,
       country string
   ) clustered by (name) into 4 buckets
       row format delimited fields terminated by ' ';
   -- 向分桶表中插入数据
   -- 根据name字段的值来分桶，在计算的时候，是先计算name字段的哈希码，对桶数取余，余数是几，就放入哪个桶
   insert overwrite table hero_buckets
   select id, name, country
   from heros;
   -- 从分桶表中来获取数据
   -- bucket x out of y
   -- 在Hive3.x中，x表示从第一个桶的第几条数据开始获取，y表示每几条数据来获取一次
   -- bucket 1 out of 2表示从第一条数据开始获取，每2条获取一次 --- 获取的是1,3,5...
   -- y必须是桶数的倍数或者因子
   select *
   from hero_buckets tablesample (bucket 1 out of 2 on name);
   

数据类型

概述

1. Hive提供非常多的数据类型，分为两类：基本类型和复杂类型

2. 基本类型

   Hive类型	Java类型
   tinyint	byte
   smallint	short
   int	int
   bigint	long
   float	float
   double	double
   boolean	boolean
   string	String
   binary	byte[]
   timestamp	Timestamp

3. 复杂类型主要有三个：array、map和struct

array类型

1. array：数组，对应了Java中的数组或者集合

2. 案例

   1. 原始数据

      1 amy,bob tom,simon,peter
      2 lucy,lily,jack thomas,tony
      3 perl,john alex,adair,dell
      4 hack,henry vincent,william,vivian
      

   2. 案例

      -- 建表
      create table battles (
          battle_id int,
          group_a   array<string>,
          group_b   array<string>
      ) row format delimited
          fields terminated by ' ' -- 字段之间使用空格隔开
          collection items terminated by ','; -- 数组元组之间用逗号隔开
      -- 加载数据
      load data local inpath '/opt/hive_data/battles' into table battles;
      -- 查询数据
      select *
      from battles;
      -- 查询a组成员
      select group_a from battles;
      -- 获取a组第一个成员
      select group_a[0] from battles;
      -- 获取a组第一个成员
      select group_a[2] from battles where group_a[2] is not null;
      

map类型

1. map：映射，对应了Java中的映射

2. 案例

   1. 原始数据

      1 amy,19 lucy,18
      2 david,18 alex,19
      3 henry,18 hack,18
      

   2. 案例

      -- 建表
      create table members (
          id    int,
          mem_a map<string,int>,
          mem_b map<string,int>
      ) row format delimited
          fields terminated by ' '
          map keys terminated by ',';
      -- 加载数据
      load data local inpath '/opt/hive_data/members' into table members;
      -- 查询数据
      select * from members;
      -- 查询成员b的信息
      select mem_b from members;
      -- 查询hack的信息
      select mem_b['hack'] from members where mem_b['hack'] is not null;