既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
答:
drop table if exists comm.dim_area;
create external table comm.dim_area(city string,province string,area string) row format delimited fields terminated by '\t' location '/behavior/dim/dim\_area';
(7)使用load data子句将本地/root/eduhq/data目录下的“dim_date_2023.txt”和“dim_area.txt”文件分别加载到外部表dim_date和dim_area中;
答:
load data local inpath '/root/eduhq/data/dim\_date\_2023.txt' into table comm.dim_date;
load data local inpath '/root/eduhq/data/dim\_area.txt' into table comm.dim_area;
(8)分别查看外部表dim_date和dim_area的前3行数据;
答:
select * from comm.dim_date limit 3;
select * from comm.dim_area limit 3;
(9)分别统计外部表dim_date和dim_area数据总行数;
答:
select count(*) from comm.dim_date;
select count(*) from comm.dim_area;
(10)统计不同省份用户访问量;将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_pro目录下,并指定列的分隔符为逗号(特别注意:因为省份是随机获取的,所以结果会有所差异);
insert overwrite local directory '/root/eduhq/result/ads\_user\_pro' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select province,count(*) from comm.dim_area group by province;
(11)统计不同时间段的网页浏览量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_hour 目录下,并指定列的分隔符为逗号;
答:insert overwrite local directory '/root/eduhq/result/ads_user_hour' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select *,DATE_FORMAT(time, 'yyyy-MM-dd HH') AS hour from comm.xxx group by hour;
(12)不同网站访客的设备类型统计;将统计结果导出到本地文件系统的/root/eduhq/result/ads_visit_mode目录下,并指定列的分隔符为逗号;
答:insert overwrite local directory '/root/eduhq/result/ads_visit_mode' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select url,device_type from comm.xxx group by device_type;
(13)不同网站的上网模式统计;将统计结果导出到本地文件系统的/root/eduhq/result/ads_online_type 目录下,并指定列的分隔符为逗号;
答:insert overwrite local directory '/root/eduhq/result/ads_online_type' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select url,type from comm.xxx group by type;
2.子任务二:数据可视化
(1)使用Pyecharts库绘制中国地图,以直观展示不同省份用户访问量分布情况;
⚫文件名:ads_user_pro.py
⚫文件存放地址:/root/eduhq/python/
⚫数据目录:/root/eduhq/result/ads_user_pro目录
⚫背景地址:/root/eduhq/images/img_1.png
⚫图表名称:不同省份用户访问量分布图.html
⚫图表存放地址:/root/eduhq/html/
(2)使用Pyecharts库绘制一个带时间轴的柱形图,以直观展示不同经济大区用户的访问量统计情况;
⚫文件名:ads_user_region.py
⚫文件存放地址:/root/eduhq/python/
⚫数据目录:
/root/eduhq/result/ads_user_region目录
⚫背景地址:/root/eduhq/images/img_2.png
⚫图表名称:不同经济大区用户访问量统计柱形图
.html
⚫图表存放地址:/root/eduhq/html/
(3)使用Pyecharts绘制网页浏览量统计折线图,直观展示不同时间段内的访问量变化趋势;
⚫文件名:ads_user_hour.py
⚫文件存放地址:/root/eduhq/python/
⚫数据目录:/root/eduhq/result/ads_user_hour目录
⚫背景地址:/root/eduhq/images/img_3.png
⚫图表名称:不同时间段网页浏览量统计曲线图.html
⚫图表存放地址:/root/eduhq/html/
(4)使用Pyecharts绘制网页浏览量统计折线图,直
观展示节假日和工作日不同时间段内的访问量变化趋势;
⚫文件名:ads_hol_work_user.py
⚫文件存放地址:/root/eduhq/python/
⚫数据目录:
/root/eduhq/result/ads_hol_work_user目录
⚫背景地址:/root/eduhq/images/img_3.png
⚫图表名称:节假日和工作日各时间段网页浏览量统计曲线图.html
⚫图表存放地址:/root/eduhq/html/
(5)使用Pyecharts绘制堆积柱形图,直观地展示访客在不同设备类型上的访问次数情况;
⚫文件名:ads_visit_mode.py
⚫文件存放地址:/root/eduhq/python/
⚫数据目录:/root/eduhq/result/ads_visit_mode
目录
⚫背景地址:/root/eduhq/images/img_2.png
⚫图表名称:网站访客设备类型统计堆积柱形图
.html
⚫图表存放地址:/root/eduhq/html/
(6)使用Pyecharts绘制堆积柱形图,直观地展示访客在不同上网模式下的访问次数情况;
⚫文件名:ads_online_type.py
⚫文件存放地址:/root/eduhq/python/
⚫数据目录:/root/eduhq/result/
ads_online_type目录
⚫背景地址:/root/eduhq/images/img_2.png
⚫图表名称:网站访客上网模式统计堆积柱形图
.html
⚫图表存放地址:/root/eduhq/html/
(7)使用Pyecharts绘制词云图,直观地展示不同域名用户访问情况;
⚫文件名:ads_user_domain.py
⚫文件存放地址:/root/eduhq/python/
⚫数据目录:/root/eduhq/result/ads_user_domain
目录
⚫背景地址:/root/eduhq/images/img_2.png
⚫图表名称:不同域名用户访问统计词云.html
⚫图表存放地址:/root/eduhq/html/
(二)任务二:业务分析
(1)统计每天不同经济大区用户访问量;将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_region目录下,并指定列的分隔符为逗号;
答:insert overwrite local directory '/root/eduhq/result/ads_user_region' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select day,area from table_name group by area;
(2)统计节假日和工作日的浏览量差异;将统计结果导出到本地文件系统的/root/eduhq/result/ads_hol_work_user目录下,并指定列的分隔符为逗号;
答:
insert overwrite local directory '/root/eduhq/result/ads\_hol\_work\_user' ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT
CASE
WHEN is_workday = 1 THEN '工作日'
ELSE '节假日'
END AS day_type,
SUM(url) AS total_views
FROM
page_views
GROUP BY
day_type;
(3)统计不同域名的用户访问量;将统计结果导出到本地文件系统的
/root/eduhq/result/ads_user_domain目录下,并指定列的分隔符为逗号;
答:
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新