2022年全国职业院校技能大赛高职组“大数据应用开发”模块二三四源码答案及报告①

最新推荐文章于 2024-10-17 15:34:15 发布

旺仔Sec

最新推荐文章于 2024-10-17 15:34:15 发布

阅读量311

点赞数

分类专栏：高职大数据应用开发职业院校竞赛答案参阅文章标签：大数据数据清洗数据挖掘数据采集

本文链接：https://blog.csdn.net/qq_50377269/article/details/138289864

版权

高职大数据应用开发职业院校竞赛答案参阅专栏收录该内容

该专栏为热销专栏榜第20名

27 篇文章 7 订阅 ¥399.90 ¥499.90

订阅专栏

本文详细介绍了2022年全国职业院校技能大赛高职组“大数据技术与应用”赛项的离线数据处理、数据挖掘与数据采集模块的任务要求。在离线数据处理部分，涵盖了从MySQL到Hive的数据抽取，包括全量和增量数据，以及数据清洗步骤。数据挖掘涉及从ods库到dwd库的数据抽取与清洗，并计算各项指标。数据采集与实时计算部分则讨论了使用Flume采集数据、Flink处理Kafka数据和实时统计的方法。提供了模块B、C、D的源码答案链接。

摘要由CSDN通过智能技术生成

2022年全国职业院校技能大赛高职组 “大数据技术与应用” 赛项赛卷（1卷）

文章目录

- 2022年全国职业院校技能大赛高职组 “大数据技术与应用” 赛项赛卷（1卷）

模块B：离线数据处理（25分）

环境说明：
服务端登录地址详见各模块服务端说明。
补充说明：各主机可通过Asbru工具或SSH客户端进行SSH访问；
Master节点MySQL数据库用户名/密码：root/123456（已配置远程连接）；
Hive的元数据启动命令为:
nohup hive --service metastore &
Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/
Spark任务在Yarn上用Client运行，方便观察日志。
任务一：数据抽取
编写Scala工程代码，将MySQL的shtd_store库中表CUSTOMER、NATION、PART、PARTSUPP、REGION、SUPPLIER的数据全量抽取到Hive的ods库中对应表customer，nation，part，partsupp，region，supplier中，将表ORDERS、LINEITEM的数据增量抽取到Hive的ods库中对应表ORDERS，LINEITEM中。
1、抽取s