2024吉林省职业院校技能大赛-大数据应用开发赛项 流程总结

流程

一、准备流程

身份核验 - 进入等候教室 - 老师/队长进行抽签的第一个号码 - 按照号码顺序进行二次加密抽签得到答题工位号

二、答题考试流程

1.发放材料与参赛证

1）档案袋中材料包括

注意事项，任务书，确认表（材料，完成任务），U盘（有队伍编号）

2）连接材料

任务A连接宿主机IP/用户/密码（宿主机可通过Asbru工具或SSH客户端进行SSH访问），任务B等使用的3台主机连接IP/用户/密码，任务F：综合分析 数据获取连接（是一个网页的HTTP连接但是无法访问，可以ping通）

2.确认确认表（材料）

确认完成后收回

3.开始答题

4.水、午餐发放

5.答题结束

填写确认表（完成任务） - 整理完成文档/桌面/材料 - 收回档案袋与参赛证

方法与注意事项

一、材料与参赛证

认真阅读注意事项与核对材料

完成任务如果没有页码注意手动标上

二、连接材料（单独发放）

连接材料有主机密码如果主机卡死重启输入密码可以在连接材料中查看

三、答题

任务A：大数据平台搭建（容器环境）（10分）

宿主机可通过Asbru工具或SSH客户端进行SSH访问(可以重复连接多个窗口)

任务书上有容器连接方法
例

进入Master节点的方式为
docker exec -it master /bin/bash
进入Slave1节点的方式为
docker exec -it slave1 /bin/bash
进入Slave2节点的方式为
docker exec -it slave2 /bin/bash
三个容器节点的root密码均为123456

注意及时将完成内容编写到的Release文件夹所对应任务提交结果.docx中

例

本任务需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。命令中要求使用绝对路径，具体要求如下:
1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz复制到容器Master中的/opt/software路径中（若路径不存在，则需新建），将Master节点JDK安装包解压到/opt/module路径中(若路径不存在，则需新建)，将JDK解压命令复制并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
2、修改容器中/etc/profile文件，设置JDK环境变量并使其生效，配置完毕后在Master节点分别执行“java -version”和“javac”命令，将命令行执行结果分别截图并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
3、请完成host相关配置，将三个节点分别命名为master、slave1、slave2，并做免密登录，用scp命令并使用绝对路径从Master复制JDK解压后的安装文件到slave1、slave2节点（若路径不存在，则需新建），并配置slave1、slave2相关环境变量，将全部scp复制JDK的命令复制并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
4、在Master将Hadoop解压到/opt/module(若路径不存在，则需新建)目录下，并将解压包分发至slave1、slave2中，其中master、slave1、slave2节点均作为datanode，配置好相关环境，初始化Hadoop环境namenode，将初始化命令及初始化结果截图（截取初始化结果日志最后20行即可）粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
5、启动Hadoop集群（包括hdfs和yarn），使用jps命令查看Master节点与slave1节点的Java进程，将jps命令与结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。

任务B 任务C 任务D

同理各主机可通过Asbru工具或SSH客户端进行SSH访问；
环境说明中有主节点MySQL数据库用户名/密码；
可能存在的要求
Spark任务在Yarn上用Client运行，方便观察日志。
该任务均使用Scala编写，利用Spark相关库完成。
Flink任务在Yarn上用per job模式（即Job分离模式，不采用Session模式），方便Yarn回收资源。

任务E：数据可视化（15分）

需要编写Vue工程代码

任务F：综合分析（10分）

有三个子任务，（子任务一/子任务二/子任务三）就是三个问题，子任务三一般是总结

其他问题

全部完成后将Release文件夹拷贝到工位号文件夹（没有则需新建）

水（开始答题后发放，可续）、午餐（大约11点20左右发放，不可续）