2022全国职业技能大赛大数据技术与应用赛项赛题环境准备

前言

根据2022全国职业技能大赛大数据技术与应用赛项赛题进行整理,如果有错误指出请提出改正,谢谢!

前提条件

竞赛内容

竞赛软件环境

技能要求

依据大数据平台的技术特点独立解压、安装、配置。对不同的组件 4 进行文件参数配置,日志查看、状态查看、服务启动、组件部署等。

赛题及解析

大数据平台搭建(容器环境)

环境说明

服务端登录地址详见各模块服务端说明。

**补充说明:**宿主机可通过Asbru工具或SSH客户端进行SSH访问;

相关软件安装包在宿主机的/opt目录下,请选择对应的安装包进行 安装,用不到的可忽略;

所有模块中应用命令必须采用绝对路径;

从本地仓库中拉取镜像,并启动3个容器

进入Master节点的方式为

docker exec –it master /bin/bash

进入Slave1节点的方式为

docker exec –it slave1 /bin/bash 

进入Slave2节点的方式为

docker exec –it slave2 /bin/bash

同时将/opt目录下的所有安装包移动到3个容器节点中。

前期准备

在ubantu中安装docker ce

1.安装一些必要的系统工具

sudo apt-get update

sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common

安装gpg证书并写入阿里源 docker ce镜像信息

curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

sudo add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

更新安装docker ce

sudo apt-get -y update

sudo apt-get -y install docker-ce

查看docker ce 版本

docker version

启动docker服务

sudo service docker start

docker默认是只有root才能执行Docker命令,因此我们还需要添加用户权限:
创建docker用户组:

sudo groupadd docker

添加当前用户到Docker用户组:

sudo gpasswd -a $USER docker

更新用户组:

newgrp docker

创建docker虚拟机的时候,注意需要让虚拟机使用静态ip, docker设置固定ip地址,步骤如下

1. (在主机)创建网络

docker network create --subnet=172.18.0.0/16 ??mynetwork

docker network ls

2. (在主机)创建虚拟机

docker run -itd --name staticIp-privileged --net mynetwork --ip 172.18.0.2 --privileged=true centos:7 /sbin/init
docker ps -a

3. (在主机)登录虚拟机(用docker方式)

docker exec -it staticIp-privileged /bin/bash

进入docker虚拟机后,centos7默认很多软件没有安装,需要自己手动安装软件

yum install net-tools openssh-server openssh-clients initscripts vim -y 

等待安装完毕后开启ssh服务

vim /etc/ssh/sshd_config?

开启ssh服务

systemctl start sshd.service
systemctl status sshd.service

设置密码

passwd

4. (在主机)登录虚拟机(用ssh方式)

ssh root@172.18.0.2

5. 安装大数据环境的软件

将主机中的软件安装包传入ubantu宿主机

使用xshell连接ubantu

连接失败

原因:ubuntu没有安装ssh远程连接服务

解决方法:安装ssh远程连接服务

sudo apt-get install openssh-server

再次尝试成功

打开xftp传输文件

报错

解决方法:修改权限 假设要上传的目录是/opt它的权限应该是777

sudo chmod 777 /opt

重新打开xftp再次尝试成功

将ubantu宿主机中的安装包传输镜像文件中

docker cp /opt/package/ staticIp-privileged:/opt

6. (在主机)将docker虚拟机/docker容器 保存为 docker镜像文件Filex

docker stop staticIp-privileged
docker images
docker commit -m "first docker" staticIp-privileged centos:hadoop
docker images

7. (在主机)使用docker镜像文件filex,创建虚拟机master,slave1,salve2。

docker ps -a
docker run -itd --name master --net mynetwork --ip 172.18.0.10 --privileged=true --add-host=master:172.18.0.10  --add-host=slave1:172.18.0.11   --add-host=slave2:172.18.0.12 centos:hadoop /sbin/init
docker run -itd --name slave1 --net mynetwork --ip 172.18.0.11 --privileged=true --add-host=master:172.18.0.10  --add-host=slave1:172.18.0.11   --add-host=slave2:172.18.0.12 centos:hadoop /sbin/init
docker run -itd --name slave2 --net mynetwork --ip 172.18.0.12 --privileged=true --add-host=master:172.18.0.10  --add-host=slave1:172.18.0.11   --add-host=slave2:172.18.0.12 centos:hadoop /sbin/init
docker ps -a

创建容器时指定/etc/hosts信息,参考资料

docker容器如何配置hosts文件?
https://blog.csdn.net/cxclll/article/details/126507690
https://blog.csdn.net/tsingke/article/details/125861482

至此容器镜像配置完毕,准备工作完毕!

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值