(超详细)2024年全国职业院校（中职组）技能大赛（ZZ052大数据应用与服务）持续更新中!

2024年职业院校中职组ZZ052大数据应用与服务赛项赛题

第01套【子任务二：数据库配置维护】

1.子任务一:数据库配置

在 Hive 中创建一个名为 comm 的数据库,如果数据库已经存在,则不进行创建。

create database if not exists comm;

2.子任务二:创建相关表

(1) 在 comm 数 据 库 下 创 建 一 个 名 为ods_behavior_log的外部表,如果表已存在,则先删除;分区字段为dt,即根据日期进行分区;同时,使用location关键 字 将 表 的 存 储 路 径 设 置 为 HDFS 的/behavior/ods/ods_behavior_log目录;字段类型如下表所示;

表4 字段类型

-- 如果表已存在,则先删除
drop table if exists comm.ods_behavior_log;

-- 创 建 一 个 名 为ods_behavior_log的外部表
create external table comm.ods_behavior_log(
line string
)
partitioned by (dt string)
location '/behavior/ods/ods_behavior_log' ;

(2) 使用load data语句将本地/root/eduhq/data/app_log/behavior目录下的每个数据文件依次加载到外部表ods_behavior_log的对应分区中,按照日志文件对应日期定义静态分区(例如: dt=‘2023-01-01’)

load data local inpath '/root/eduhq/data/app_log/behavior/behavior2023-01-01.log' into table comm.ods_behavior_log partition(dt='2023-01-01');
load data local inpath '/root/eduhq/data/app_log/behavior/behavior2023-01-02.log' into table comm.ods_behavior_log partition(dt='2023-01-02');
load data local inpath '/root/eduhq/data/app_log/behavior/behavior2023-01-03.log' into table comm.ods_behavior_log partition(dt='2023-01-03');
load data local inpath '/root/eduhq/data/app_log/behavior/behavior2023-01-04.log' into table comm.ods_behavior_log partition(dt='2023-01-04');
load data local inpath '/root/eduhq/data/app_log/behavior/behavior2023-01-05.log' into table comm.ods_behavior_log partition(dt='2023-01-05');
load data local inpath '/root/eduhq/data/app_log/behavior/behavior2023-01-06.log' into table comm.ods_behavior_log partition(dt='2023-01-06');
load data local inpath '/root/eduhq/data/app_log/behavior/behavior2023-01-07.log' into table comm.ods_behavior_log partition(dt='2023-01-07');

(3) 查看ods_behavior_log表的所有现有分区、前3行数据,并统计外部表ods_behavior_log数据总行数;

-- 查看ods_behavior_log表的所有现有分区
show partitions comm.ods_behavior_log;

-- 前3行数据
select * from  comm.ods_behavior_log limit 3;

-- 统计外部表ods_behavior_log数据总行数
select count(*) from  comm.ods_behavior_log;

结果例图

(4) 在 comm 数 据 库 下 创 建 一 个 名 为dwd_behavior_log的外部表,如果表已存在,则先删除;分区字段为dt,即根据日期进行分区;另外,要求指定表的存储路径为HDFS的/behavior/dwd/dwd_behavior_log目录,存储文件类型为“orc”,文件的压缩类型为“snappy”;字段类型如下表所示;

表5 字段类型

-- 如果表已存在,则先删除
drop table if exists comm.dwd_behavior_log;

-- 创 建 一 个 名 为dwd_behavior_log的外部表
create external table comm.dwd_behavior_log (
client_ip string,
device_type string,
type string,
device string,
url string,
province string,
city string,
ts bigint
)
partitioned by (dt string)
stored as orc
location '/behavior/dwd/dwd_behavior_log'
tblproperties ('orc.compress'='SNAPPY');