GZ033 大数据应用开发赛题第01套--子任务二：Spark on Yarn安装配置

子任务二：Spark on Yarn安装配置

本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：

初始化hadoop集群
使用命令查看自己所有节点环境的IP信息:
ip addr show
把所有节点的IP记录下来，将三个节点分别命名为master、slave1、slave2，取1个IP作为master节点，其余做slave节点。
修改容器中/etc/hosts文件，根据自己的节点的IP信息，在文件末添加类似下面的内容:
10.12.241.106  master
10.42.241.46  slave1
10.42.74.171  slave2
配置及节点ssh免密登录
在master节点使用命令生成key，需要填入的内容直接留空即可
ssh-keygen -b 4096
使用下面的命令把master节点的公钥拷贝到包括master节点的所有的节点，默认密码为root
ssh-copy-id -i ~/.ssh/id_rsa.pub root@master
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2
最后，在master节点的终端使用下面的命令初始化Hadoop环境namenode

hdfs namenode -format

确保Hadoop启动并正常运行。

# hadoop的集群启动命令为:
start-all.sh

# 启动后检查是否安装成功：
hdfs dfsadmin -report

从宿主