2022年全国职业院校技能大赛高职组“大数据应用开发”模块二三四阶段报告③（含源码）

最新推荐文章于 2025-01-17 17:17:29 发布

旺仔Sec

最新推荐文章于 2025-01-17 17:17:29 发布

阅读量234

点赞数 1

分类专栏：高职大数据应用开发职业院校竞赛答案参阅文章标签：大数据

本文链接：https://blog.csdn.net/qq_50377269/article/details/139394947

版权

高职大数据应用开发职业院校竞赛答案参阅专栏收录该内容

该专栏为热销专栏榜第4名

29 篇文章 16 订阅 ¥399.90 ¥499.90

订阅专栏

本篇报告详细介绍了2022年全国职业院校技能大赛高职组‘大数据技术与应用’赛项的模块B、C、D的实施过程，包括离线数据处理、数据挖掘和数据采集与实时计算。参赛者需使用Sqoop、Hive和Java/Scala完成数据抽取、清洗和指标计算，涉及Hadoop MR、Spark和Flink等工具。此外，报告还提供了源码链接供参考。

摘要由CSDN通过智能技术生成

2022年全国职业院校技能大赛高职组 “大数据技术与应用” 赛项赛卷（3卷）

文章目录

- 2022年全国职业院校技能大赛高职组 “大数据技术与应用” 赛项赛卷（3卷）

模块B：离线数据处理（25分）

环境说明：
服务端登录地址详见各模块服务端说明。
补充说明：各主机可通过Asbru工具或SSH客户端进行SSH访问；
Master节点MySQL数据库用户名/密码：root/123456（已配置远程连接）；
Hive的元数据启动命令为:
nohup hive --service metastore &
Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/
Spark任务在Yarn上用Client运行，方便观察日志。
任务一：数据抽取
请使用Sqoop工具，将MySQL的shtd_store库中表CUSTOMER、NATION、PART、PARTSUPP、REGION、SUPPLIER的数据全量抽取到Hive的ods库中对应表customer，nation，part，partsupp，region，supplier中，将表ORDERS、LINEITEM的数据增量抽取到Hive的ods库中对应表ORDERS，LINEITEM中。
1、抽取sh