2024年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中，敬请期待…_唯众智创 大数据 赛题(1)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

2024 年 2 月
联系人：辜渝傧13037102709

题号：试题01

模块三：业务分析与可视化

（一）任务一：数据可视化

1．子任务一：数据分析
（1）在 comm 数 据 库 下 创 建 一 个 名 为
dws_behavior_log的外部表，如果表已存在，则先删除；分区字段为dt，即根据日期进行分区；另外，要求指定表的存储路径为HDFS的/behavior/dws/dws_behavior_log目录，存储文件类型为“orc”，文件的压缩类型为“snappy”；字段类型如下表所示；
表6 字段类型表

答：

DROP TABLE IF EXISTS dws_behavior_log;
create external table comm.dws_behavior_log(client_ip string,device_type string,type string,device string,url string,province string,city string) partitioned by (dt string) STORED AS orc location '/behavior/dws/dws\_behavior\_log' tblproperties ("orc.compress"="SNAPPY");

（2）启动Hive的动态分区功能，并将Hive设置为非严格模式；
答：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nostrict;

（3）使用insert overwrite … select …子句将dwd_behavior_log表中数据插入分区表dws_behavior_log中，并实现根据dt进行动态分区；
答：insert overwrite table dws_behavior_log PARTITION (dt) select * from dwd_behavior_log;
（4）查看dws_behavior_log表的所有现有分区、前3行数据，并统计统计表数据总行数；
答：

SHOW PARTITIONS dws_behavior_log;
SELECT * FROM dwd_behavior_log LIMIT 3;
SELECT count(*) FROM dws_behavior_log;

（5）在comm数据库下创建一个名为dim_date的外部表，如果表已存在，则先删除；另外，要求指定表的存储路径为HDFS的/behavior/dim/dim_date目录，字段分隔符为 “\t” ， 建 表 时 添 加 TBLPROPERTIES
(‘skip.header.line.count’=‘1’) 语句让Hive读取外表数据时跳过文件行首（表头）；字段类型如下表所示；
表7 字段类型表

答：

DROP TABLE IF EXISTS comm.dim_date;
create external table comm.dim_date(date_id string,week_id string,week_day string,day string,month string,quarter string,year string,is_workday string,holiday string) row format delimited fields terminated by '\t' location '/behavior/dim/dim\_date' TBLPROPERTIES ('skip.header.line.count'='1');

（6）在comm数据库下创建一个名为dim_area的外部表，如果表已存在，则先删除；另外，要求指定表的存储路径为HDFS的/behavior/dim/dim_area目录，字段分隔符为
“\t”；字段类型如下表所示；
表8 字段类型表

答：

drop table if exists comm.dim_area;
create external table comm.dim_area(city string,province string,area string) row format delimited fields terminated by '\t' location '/behavior/dim/dim\_area';

（7）使用load data子句将本地/root/eduhq/data目录下的“dim_date_2023.txt”和“dim_area.txt”文件分别加载到外部表dim_date和dim_area中；
答：

load data local inpath '/root/eduhq/data/dim\_date\_2023.txt' into table comm.dim_date;
load data local inpath '/root/eduhq/data/dim\_area.txt' into table comm.dim_area;

（8）分别查看外部表dim_date和dim_area的前3行数据；
答：

select * from comm.dim_date  limit 3;
select * from comm.dim_area  limit 3;

（9）分别统计外部表dim_date和dim_area数据总行数；
答：

select count(*) from comm.dim_date;
select count(*) from comm.dim_area;

（10）统计不同省份用户访问量；将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_pro目录下，并指定列的分隔符为逗号（特别注意：因为省份是随机获取的，所以结果会有所差异）；

insert overwrite local directory '/root/eduhq/result/ads\_user\_pro' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select province,count(*) from comm.dim_area group by province;

（11）统计不同时间段的网页浏览量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_hour 目录下，并指定列的分隔符为逗号；
答：insert overwrite local directory '/root/eduhq/result/ads_user_hour' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select *,DATE_FORMAT(time, 'yyyy-MM-dd HH') AS hour from comm.xxx group by hour;
（12）不同网站访客的设备类型统计；将统计结果导出到本地文件系统的/root/eduhq/result/ads_visit_mode目录下，并指定列的分隔符为逗号；
答：insert overwrite local directory '/root/eduhq/result/ads_visit_mode' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select url,device_type from comm.xxx group by device_type;
（13）不同网站的上网模式统计；将统计结果导出到本地文件系统的/root/eduhq/result/ads_online_type 目录下，并指定列的分隔符为逗号；
答：insert overwrite local directory '/root/eduhq/result/ads_online_type' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select url,type from comm.xxx group by type;
2．子任务二：数据可视化
（1）使用Pyecharts库绘制中国地图，以直观展示不同省份用户访问量分布情况；
⚫文件名：ads_user_pro.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/ads_user_pro目录
⚫背景地址：/root/eduhq/images/img_1.png
⚫图表名称：不同省份用户访问量分布图.html
⚫图表存放地址：/root/eduhq/html/
（2）使用Pyecharts库绘制一个带时间轴的柱形图，以直观展示不同经济大区用户的访问量统计情况；
⚫文件名：ads_user_region.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：
/root/eduhq/result/ads_user_region目录
⚫背景地址：/root/eduhq/images/img_2.png
⚫图表名称：不同经济大区用户访问量统计柱形图
.html
⚫图表存放地址：/root/eduhq/html/
（3）使用Pyecharts绘制网页浏览量统计折线图，直观展示不同时间段内的访问量变化趋势；
⚫文件名：ads_user_hour.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/ads_user_hour目录
⚫背景地址：/root/eduhq/images/img_3.png
⚫图表名称：不同时间段网页浏览量统计曲线图.html
⚫图表存放地址：/root/eduhq/html/

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中…(img-lNIMdxP0-1713688839042)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！