2023年陕西省高等职业院校技能大赛“大数据应用开发“赛项之平台搭建

此文章为2023年陕西省高等职业院校技能大赛"大数据应用开发"赛项赛题的平台搭建任务的所有操作步骤，不包含截图。如有错误的地方请帮忙指出，所有内容仅供参考，希望能帮助到你

任务一：Hadoop 完全分布式安装配置

1、将容器 Master 节点 JDK 安装包解压并移动到/opt/module 路径中(若路径不存在，则需新建)，将命令复制并粘贴至客户端桌面【Release\模块 A 提交结果.docx】中对应的任务序号下;

tar -zxvf /opt/software/jdk-8u212-linux-x64.tar.gz -C /opt/module

2、修改/etc/profile 文件，设置 JDK 环境变量，配置完毕后在 master 节点分别执行“java -version”和“javac”命令，将命令行执行结果分别截图并粘贴至客户端桌面【Release\模块 A 提交结果.docx】中对应的任务序号下;

vim /etc/profile
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

3、 请完成 host 相关配置，将三个节点分别命名为 master、slave1、slave2，并做免密登录，用 scp 命令并使用绝对路径从 master 复制 JDK 解压后的安装文件到 slave1、slave2 节点（若路径不存在，则需新建），并配置 slave1、slave2 相关环境变量，将全部复制命令复制并粘贴至客户端桌面【Release\模块 A 提交结果.docx】中对应的任务序号下;

三台节点分别命名(比赛时节点已完成命名):

hostnamectl set-hostname mater
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2

更改hosts文件:

masterip	master
slave1ip	slave1
slave2ip	slave2

配置免密登录(三台节点)：

cd .ssh/
​ssh-keygen
​ssh-copy-id master
​ssh-copy-id slave1
​ssh-copy-id slave2

scp 命令并使用绝对路径从 master 复制 JDK 解压后的安
装文件和环境变量文件到 slave1、slave2 节点

scp -r /opt/module/jdk1.8.0_212/ root@slave1:/opt/module/
scp -r /opt/module/jdk1.8.0_212/ root@slave2:/opt/module/
scp -r /etc/profile root@slave1:/etc
scp -r /etc/profile root@slave1:/etc

4、 在容器 Master 将 Hadoop 解压到/opt/module(若路径不存在，则需新建)目录下，并将解压包分发至 slave1、slave2 中,其中 master、slave1、slave2节点均作为 datanode,配置好相关环境，初始化 Hadoop 环境 namenode，将初始化命令及初始化结果截图（截取初始化结果结束倒数 20 行即可）复制粘贴至客户端桌面【Release\模块 A 提交结果.docx】中对应的任务序号下；

将hadoop解压到/opt/module

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

并将解压包分发至slave1、slave2中(为提高效率可以先不分发，配置完毕后再分发)

scp -r /opt/module/hadoop-3.1.3/ root@bigdata2:/opt/module/
scp -r /opt/module/hadoop-3.1.3/ root@bigdata3:/opt/module/

配置hadoop环境变量(配置完成source /etc/profile):

export HADOOP_HOME=/opt/ module/ hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HDFS_NAMENODE_USER=root
​export HDFS_DATANODE_USER=root
​export HDFS_SECONDARYNAMENODE_USER=root
​export YARN_RESOURCEMANAGER_USER=root
​export YARN_NODEMANAGER_USER=root

进入需要修改hadoop配置文件的目录:

cd $HADOOP_HOME/etc/hadoop

vim hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212

vim core-site.xml

<property> 
	<name>fs.defaultFS</name> 
	<value>hdfs://master:8020</value> 
</property> 
<property> 
	<name>hadoop.tmp.dir</name> 
	<value