【博学谷学习记录】超强总结，用心分享|狂野大数据课程【Hive框架三】的总结分析

已于 2022-10-25 10:45:46 修改
阅读量112 收藏
点赞数
分类专栏： java 博学谷IT技术支持 文章标签： hive 大数据 学习
于 2022-10-25 10:08:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42198232/article/details/127507904
版权
Hive的复杂类型

  • array类型

    -- 1、准备数据
zhangsan    beijing,shanghai,tianjin,hangzhou
wangwu  changchun,chengdu,wuhan,beijing

-- 2、创建表
create external table hive_array
(
    name           string,
    work_locations array<string>
)
row format delimited fields terminated by '\t'
collection items terminated by ',';

-- 3、加载数据
load data local inpath '/export/data/hivedatas/work_locations.txt' into table hive_array;

select * from hive_array;

-- 4、查询数据
-- 查询所有数据
select * from hive_array;
-- 查询work_locations数组中第一个元素
select name, work_locations[0] location from hive_array;
-- 查询location数组中元素的个数
select name, size(work_locations) location_size from hive_array;
-- 查询location数组中包含tianjin的信息
select * from hive_array where array_contains(work_locations,'tianjin');

  • map类型

    -- 1、准备数据

1,zhangsan,father:xiaoming#mother:xiaohuang#brother:xiaoxu,28
2,lisi,father:mayun#mother:huangyi#brother:guanyu,22
3,wangwu,father:wangjianlin#mother:ruhua#sister:jingtian,29
4,mayun,father:mayongzhen#mother:angelababy,26

-- 2、建表
create table hive_map
(
    id      int,
    name    string,
    members map<string,>,
    age     int
)
row format delimited fields terminated by ','
collection items terminated by '#'
map keys terminated by ':';

-- 3、加载数据

load data local inpath '/export/data/hivedatas/hive_map.txt' into table hive_map;
select * from hive_map;

-- 4、查询操作
select * from hive_map;
-- 根据键找对应的值
select id, name, members['father'] father, members['mother'] mother, age from hive_map;

-- 获取所有的键
select id, name, map_keys(members) as relation from hive_map;

-- 获取所有的值
select id, name, map_values(members) as relation from hive_map;

-- 获取键值对个数
select id,name,size(members) num from hive_map;

-- 获取有指定key的数据
-- 判断亲属关系中哪一个包含brother
select * from hive_map where array_contains(map_keys(members), 'brother');

-- 查找包含brother这个键的数据，并获取brother键对应的值
select id,name, members['brother'] brother from hive_map where array_contains(map_keys(members), 'brother');

  • struct类型

    class  类名{
   String name,
   int  age ,
   double score
}

-- 1、准备数据
192.168.1.1#zhangsan:40
192.168.1.2#lisi:50
192.168.1.3#wangwu:60
192.168.1.4#zhaoliu:70

-- 2、创建表
create table hive_struct(
    ip string,
    info struct<name:string, age:int>
)
row format delimited fields terminated by '#'
collection items terminated by ':';

-- 3、给表加载数据

load data local inpath '/export/data/hivedatas/hive_struct.txt' into table hive_struct;

select * from hive_struct;


-- 4、查询表数据
select  ip,info.name,info.age from hive_struct;
select  ip,info from hive_struct;
（重点) Hive表操作2-分区表

  • 介绍

    1、分区表就是对一个表的文件数据进行分类管理，表现形式就是有很多的文件夹(dt=2019-02-27)
2、分区表的作用是以后查询时，我们可以手动指定对应分区的数据，避免全表扫描，提高查询效率
3、专业的介绍
所谓的分区表，指的就是将数据按照表中的某一个字段进行统一归类，并存储在表中的不同的位置，也就是说，一个分区就是一类，这一类的数据对应到hdfs存储上就是对应一个目录。当我们需要进行处理的时候，可以通过分区进行过滤，从而只取部分数据，而没必要取全部数据进行过滤，从而提升数据的处理效率。且分区表是可以分层级创建。
select * from 表 where dt = '2019-03-13'

4、分区表的关键字是Partition，这里的分区是MR中的分区没有关系
5、分区表可以有内部分区表，也可以有外部分区表
6、什么时候表数据不用分区：  
   1）几乎在实际应用中所有的表数据都要分区
   2）如果你的数据量很小，而且数据很单一，此时可以不用分区

  • 静态分区

    ----------------------单级分区----------------------------------
-- 1、创建单分区表
create table score
(
    sid    string,
    cid    string,
    sscore int
)
partitioned by (dt string)  -- 这个dt是分区字段和表字段没有关系，理论上可以随便写
row format delimited fields terminated by '\t';

-- 2、给分区表加载数据
-- 第一件事：在HDFS的表目录下创建文件夹:dt=2022-10-13  第二件事：将score.txt复制到该文件夹下
load data local inpath '/export/data/hivedatas/score.txt' into table score partition (dt='2022-10-13');

select * from score;

-- 再添加一个分区
load data local inpath '/export/data/hivedatas/score2.txt' into table score partition (dt='2022-10-14');
select * from score;


-- 3、查询数据

-- 查找dt=2022-10-13分区数据
select * from score where dt='2022-10-13';

-- 查找dt=2022-10-14分区数据
select * from score where dt='2022-10-14';

desc score; -- 查看哪个是分区列


----------------------多级分区----------------------------------
-- 1、创建多级分区表
create table score2
(
    sid    string,
    cid    string,
    sscore int
)
partitioned by (year string, month string ,dt string)  -- 这个dt是分区字段和表字段没有关系，理论上可以随便写
row format delimited fields terminated by '\t';



-- 2、给分区表加载数据
-- 第一件事：在HDFS的表目录下创建三级文件夹:year=2022/month=10/dt=13 第二件事：将score.txt复制到该文件夹下
load data local inpath '/export/data/hivedatas/score.txt'
into table score2 partition (year='2022',month='10',dt='13');

select * from score2;

-- 再添加一个分区
load data local inpath '/export/data/hivedatas/score2.txt'
    into table score2 partition (year='2022',month='11',dt='13');
-- 再添加一个分区
load data local inpath '/export/data/hivedatas/score2.txt'
    into table score2 partition (year='2023',month='11',dt='13');

select * from score2;


-- 3、查询分区数据：查询 2022年 10月13号数据
select * from  score2 where year='2022' and month = '10' and dt = '13';


----------------------分区相关的SQL----------------------------------

show  partitions  score; -- 查看表所有分区情况
alter table score add partition(dt='2022-01-01');  -- 手动添加一个分区
alter table score drop partition(dt='2022-01-01'); -- 手动删除一个分区

  • 动态分区

在这里插入图片描述

  • 单级分区
-- -----------------------单级分区：按照日进行分区---------------------------------
-- 1、开启动态分区
set hive.exec.dynamic.partition=true;  -- 开启动态分区
set hive.exec.dynamic.partition.mode=nonstrict;-- 设置为非严格格式


-- 2、模拟数据
/*
1	2022-01-01	zhangsan	80
2	2022-01-01	lisi	70
3	2022-01-01	wangwu	90
1	2022-01-02	zhangsan	90
2	2022-01-02	lisi	65
3	2022-01-02	wangwu	96
1	2022-01-03	zhangsan	91
2	2022-01-03	lisi	66
3	2022-01-03	wangwu	96
*/
-- 3、创建一个中间普通表（该表用来存入原始数据）
create table test1
(
    id       int,
    date_val string,
    name     string,
    score    int
)
row format delimited fields terminated by '\t';

-- 4、给普通表加载数据
load data local inpath '/export/data/hivedatas/partition.txt' into table test1;

-- 5、来创建最终的分区表
create table test2
(
    id    int,
    name  string,
    score int
)
partitioned by (dt string) -- 这个分区字段的名字随便写，它来决定HDFS上文件夹的名字：day=2022-01-01
row format delimited fields terminated by ',';

-- 6、查询普通表，将数据插入到分区表
insert overwrite table test2 partition (dt)
select id, name, score, date_val  from test1;

select * from test2;



-- -----------------------单级分区：按照月进行分区---------------------------------
1       2022-01-01      zhangsan        80
2       2022-01-01      lisi    70
3       2022-01-01      wangwu  90
1       2022-01-02      zhangsan        90
2       2022-01-02      lisi    65
3       2022-01-02      wangwu  96
1       2022-01-03      zhangsan        91
2       2022-01-03      lisi    66
3       2022-01-03      wangwu  96
1       2022-02-01      zhangsan        80
2       2022-02-01      lisi    70
3       2022-02-01      wangwu  90
1       2022-02-02      zhangsan        90
2       2022-02-02      lisi    65
3       2022-02-02      wangwu  96
1       2022-02-03      zhangsan        91
2       2022-02-03      lisi    66
3       2022-02-03      wangwu  96

load data local inpath '/export/data/hivedatas/partition2.txt' overwrite into table test1;

drop  table test2_1;
create table test2_1
(
    id    int,
    date_val string,
    name  string,
    score int
)
partitioned by (month string) -- 这个分区字段的名字随便写，它来决定HDFS上文件夹的名字：day=2022-01-01
row format delimited fields terminated by ',';


-- 6、查询普通表，将数据插入到分区表
insert overwrite table test2_1 partition (month)
select id, date_val,name, score, substring(date_val,1,7)   from test1;
  • 多级分区
-- 1、创建普通表

drop table if exists test3;
create table test3
(
    id       int,
    date_val string,
    name     string,
    sex      string,
    score    int
)
    row format delimited fields terminated by '\t';
;


-- 2、给普通表加载数据
load data local inpath '/export/data/hivedatas/partition3.txt' overwrite into table test3;
select * from test3;

-- 3、创建最终的分区表
drop table test4;
create table test4
(
    id    int,
    name  string,
    score int
)
    partitioned by (xxx string, yyy string)
    row format delimited fields terminated by '\t'
;

-- 4、去普通表查询，将查询后的结果插入到最终的分区表

insert overwrite table test4
select id, name, score,date_val,sex from test3;  -- 这里的动态分区是看最后的两个字段
Hive表操作3-分桶表

在这里插入图片描述

  • 概念

    1、分桶就是MR的分区
2、分桶表的表现形式就是分文件,可以通俗的理解为将一个大的表文件拆分成多个小文件
3、分桶的作用有两个：
  作用1：主要是来提高多张表join的效率
  作用2：主要是用于数据的抽样
4、分桶的方式就是拿到分桶字段的值，然后取hash值对分桶的个数取模  
  
  
专业说法：
在表或者分区中使用分桶通常有两个原因，一个是为了高效的join查询，另一个则是为了高效的抽样。
桶其实是在表中加入了特殊的结构，hive在查询的时候可以利用这些结构来提高查询效率。比如，
如果两个表根据相同的字段进行分桶，则在对这两个表进行join关联的时候可以使用map-side关联高效实现。

  • 分桶表的操作

    -- 1、创建分桶表
create table course
(
    cid    string,
    c_name string,
    tid    string
)
clustered by (cid) into 3 buckets
row format delimited fields terminated by '\t';

-- 解释：
clustered by (cid) into 3 buckets  表示按照cid 这一列进行分桶，并且将表数据分到3个桶中（3个文件中）


-- 2、创建普通表
create table course_common
(
    cid    string,
    c_name string,
    tid    string
) row format delimited fields terminated by '\t';

-- 3、给普通表加载数据
load data local inpath '/export/data/hivedatas/course.txt' into table course_common;

select * from course_common;


-- 4、将普通表的数据进行查询插入到普通表
insert overwrite table course
select * from course_common cluster by (cid);

select * from course;

在这里插入图片描述

  • 作用

    • 作用1-提高join的效率

在这里插入图片描述

在这里插入图片描述

​

  • 作用2 -可以用于数据的抽样

    1、有时候在大数据分析时，我们并不需要全部的数据参与分析，而只需要抽取一部分具有代表性的数据参与分析，这样可以提高分析的效率，此时就可以使用分桶表来完成

    1   zs
2   ls
3   ww
4   zl
5   zq
6   mb
7   lf
8   we
9   zz
10  qw



-- 1、创建分桶表
drop table sample_test;
create table sample_test
(
    sid    int,
    s_name string
)
clustered by (sid) into 6 buckets
row format delimited fields terminated by '\t';

-- 2、创建普通表
create table sample_common
(
    sid    int,
    s_name string
) row format delimited fields terminated by '\t';

-- 3、给普通表加载数据
load data local inpath '/export/data/hivedatas/sample.txt' overwrite into table sample_common;

select * from sample_common;

set hive.stats.column.autogather=false;
set hive.exec.mode.local.auto=true;  --开启本地mr


-- 4、将普通表的数据进行查询插入到普通表
insert overwrite table sample_test
select * from sample_common cluster by (sid);

select * from course;


-- 5、对数据进行抽样(先保留)
-- TABLESAMPLE (BUCKET x OUT OF y [ON colname])  6 / 2  = 3
select * from sample_test tablesample ( bucket  1 out of 2 on sid);


/*

select * from student tablesample(bucket x out of y on id);

n：总桶数

x：从第几个桶开始抽取

y：必须是总桶数的因数或倍数（自定义）

z：共需抽取出的桶数（z=n/y）


select * from student tablesample(bucket 1 out of 2 on id);
z 数据属于第几个桶

1 第1个分桶的数据（1）

2 第3个分桶的数据（1+y）

3 第5个分桶的数据（3+y）

4 第7个分桶的数据（5+y）

5 第9个分桶的数据（7+y）
*/
表结构操作
-- 删表
drop table score4;  #内部表和外部表的删除是不一样的

-- 清空表数据
truncate table score4; #只能清空内部表（管理表）
ZLWQ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【博学谷学习记录】超强总结，用心分享 | 狂野大数据第三周-Hadoop学习分享
qq_41151516的博客
01-30 165
Hadoop学习分享
Hive的表操作2
Allen_人工智能与大数据
10-16 532
Hive的表操作2分区和分桶表
【博学谷学习记录】超强总结，用心分享|狂野大数据课程 【Linux基础】学习笔记
GaryNB的博客
01-01 269
Linux是个操作系统类似于windows,主要应用于各大网站,app,直播平台的底层系统.也是世界上比较知名的服务器操作系统. 主要相关的工作有Linux运维工程师,DBA数据库管理员,安全运维工程师,这些都是偏向系统相关的(包括服务,网络等等) 另一个方向是开发相关的Java,Python开发的代码都是运行在Linux系统上面的. 常见的Linux系统有: 目前主流的有两大阵营,6个系统.
【狂野大数据】从零快速掌握数据湖架构开发视频记录
Eistert
07-01 207
视频看到p16，因为涉及的都是spark,公司项目目前架构是flink1.12，所以先跳过。 直接看p34的内容
【博学谷学习记录】超强总结，用心分享|狂野大数据课程【Hive框架二】的总结分析
qq_42198232的博客
10-25 824
Hive的交互方式
大数据课程hive编程课件
04-18
大数据课程hive编程课件
尚硅谷大数据技术hive学习笔记
10-27
"尚硅谷大数据技术hive学习笔记" Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 Hive 的核心是将 HQL 转化成 MapReduce 程序，通过 SQL 语言中常用的操作...
大数据数据仓库hive框架搭建
04-15
大数据数据仓库hive框架搭建，从零到配置hiveserver2，通俗易懂，详细步骤注解！！！
hive高级分析函数与优化.rar_hive_hive 函数优化_hive 分析 大数据_hive高级优化_oldwlc
09-23
大数据分析工具 hive 高级分析函数的使用与优化，笔记整理！
大数据 hive 实战数据
04-07
包含video user数据
【博学谷学习记录】超强总结，用心分享|狂野大数据课程 【HDFS组件】
GaryNB的博客
02-08 216
由于极端情况下，主NameNode发生了假死现象，临时假死，后来又复活，这样原来的主NameNode状态是Active,后来的备用NameNode状态也改为Active，这样就会有两个Active状态的NameNode，会造成元数据的管理混乱，就相当于一个大脑被拆分了。如果HDFS上有很多的小文件，会占用大量的NameNode元数据的内存空间，需要将这些小文件进行归档（打包），归档之后，相当于将多个文件合成一个文件，而且归档之后，还可以透明的访问其中的每一个文件。
【博学谷学习记录】超强总结，用心分享|狂野大数据课程 【HBASE基本介绍】
GaryNB的博客
07-12 190
HDFS: 分布式文件存储系统特点: 吞吐量极高, 适合于进行批量数据处理工作, 随机的读写能力比较差(压根就不支持)但是, 在实际生产环境中, 有时候数据体量比较大, 但是希望能够对数据进行随机的读写操作, 而且不能太慢了, 如何解决呢?对于市场来说, 其实非常迫切的需要一款能够支持大规模数据存储以及能够对数据进行高效的随机读写操作, 而HBase其实就是在这样的背景下产生, 灵感来源于 google发布的一篇论文(BigTable)
【博学谷学习记录】超强总结，用心分享|狂野大数据课程 【MapReduce组件】
GaryNB的博客
02-17 177
1、定义类继承Partitioner类2、重写getPartition方法，在该方法中对每一个K2和V2打标记，标记从0开始，0标记的键值对会被0编号的Reduce拉取进行聚合，1标记的键值对会被1编号的Reduce进行聚合/*** @param i Reduce的个数* @return*/@Override// 长度>=5的单词打标记为0// 长度小于5的单词打标记为1return 0;3、设置job你的自定义分区类。
【博学谷学习记录】超强总结，用心分享|狂野大数据课程 【Zookeeper】学习笔记
GaryNB的博客
01-11 234
ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。
狂野大数据学习笔记第一周--Linux基础
认知 行动 坚持
01-08 192
linux基础
【博学谷学习记录】超强总结，用心分享|狂野大数据课程【RDD的基本介绍】的总结分析
qq_42198232的博客
02-05 140
RDD的基本介绍
【博学谷学习记录】超强总结，用心分享 | 狂野大数据-MapReduce
qq_41151516的博客
02-13 220
数据同MapReduce分区案例数据思路：1、将州名作为K2，将确诊人数 死亡人数作为V22、可以将V2封装成一个Java类，如果一个自定义类出现在MapReduce中，必须保证该类能够被序列化和反序列化自定义类，必须根据条件实现Writable/WritableComparableWritable#应用场景：JavaBean类对象不作为K2，不需要能够被排序//实现序列化@Override//实现反序列化@Override#应用场景：JavaBean类对象作为K2，需要能够被排序。
【博学谷学习记录】超强总结，用心分享|狂野大数据课程 【KAFKA基本介绍】
GaryNB的博客
06-20 129
消息: 数据 只不过这个数据具有流动的状态队列: 存储数据的容器, 只不过这个容器具有FIFO(先进先出)特性消息队列: 数据在队列中, 从队列的一端传递到另一端的过程, 数据在整个队列中产生了一种流动状态kafka是Apache旗下的一款开源免费的消息队列的中间件产品 最早是有领英公司开发的, 后期贡献给Apache, 目前也是Apache旗下的顶级开源项目. 采用的语言为scala, Kafka2依然要依赖于zookeeper的官方网站:kafka特点：可靠性：分布式，分区，复制和容错等。
【博学谷学习记录】超强总结，用心分享| 数仓的基本知识
我爱骑呆马的专栏
10-09 856
数仓基本知识
大数据技术课程设计hive
最新发布
05-31
在大数据技术课程设计中，学生可以通过使用Hive来构建一个数据仓库系统，并进行相关的数据分析。具体来说，课程设计可以包括以下几个步骤： 1. 数据获取：从互联网或其他来源获取大规模的结构化数据，例如电商网站...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值