【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析②

大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！

本次为师傅们带来的是“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析系列的第②期，是“基础环境配置”篇章哦！

第①期完整赛题的链接在下面，师傅们想看完整赛题的请安心享用：

【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客

目录

基础环境配置（ 20 / 20 分 ）：

1.修改主机名(分别为master、slave1、slave2，临时生效即可，无需重启环境)

2.判断是否关闭防火墙

3.hosts文件添加映射(内网IP)

4.时区更改(中国时区)

5.确认NTP服务(环境中已经安装)

6.屏蔽默认server，设置master为本地时钟源，服务器层级设为10

7.主节点开启NTP服务

8.从节点在早十-晚五时间段内每隔半个小时同步一次主节点时间（24小时制、用户root任务调度crontab）

9.实现主机自身localhost免密访问（内回环）

 10.主节点生成公钥文件(数字签名RSA，用户root，主机名master)

11.实现master对slave1的免密登陆

12.实现master到slave2的免密访问

13.将jdk安装包解压到/usr/java目录（安装包存放于/usr/package/，解压后路径不做修改，默认/usr/java/jdk1.8.0_171，其他安装同理）

14./etc/profile中配置JAVA系统环境变量（$JAVA_HOME）

15.验证jdk是否安装成功

---

基础环境配置（ 20 / 20 分 ）：

前提说明：

1. 相关安装包已经存放至环境/usr/package/中

2. 对应ntp和mysql已安装，可直接对其进行操作和配置

---

1.修改主机名，便于识别节点； 2.工具包已保存在环境中； 3.修改hosts文件，添加集群节点映射，按照给出的节点IP和对应的主机名进行设置； 4.要求各节点时区修改为中国时区（ 中国标准时间CST+8） 5.安装ntp服务，要求主节点master为本地时钟源，从节点设置定时任务同步本地时间； 6.集群中数据传输需要节点之间免密访问，要求设置主节点之间到从节点的免密访问； 7.Hadoop技术基于Java语言，要求本地源下载对应安装包进行安装配置，注意安装路径要求，无需更改文件名，注意添加环境变量。

考核条件如下：

1.修改主机名(分别为master、slave1、slave2，临时生效即可，无需重启环境)

操作环境:master、slave1、slave2

#master
hostnamectl set-hostname master   #修改主机名为master
bash                              #生效配置
hostname                          #查看主机名

#slave1
hostnamectl set-hostname slave1   #修改主机名为slave1
bash                              #生效配置
hostname                          #查看主机名

#slave2
hostnamectl set-hostname slave2   #修改主机名为slave2
bash                              #生效配置
hostname                          #查看主机名

2.判断是否关闭防火墙

操作环境:master、slave1、slave2

#master、slave1、slave2
systemctl stop firewalld          #关闭防火墙
systemctl status firewalld        #查看防火墙状态

3.hosts文件添加映射(内网IP)

操作环境:master、slave1、slave2

#master、slave1、slave2
vi /etc/hosts                     #修改对应配置文件

#添加以下内容
master_IP master
slave1_IP slave1
slave2_IP slave2

4.时区更改(中国时区)

操作环境:master、slave1、slave2

#master、slave1、slave2
vim /etc/profile                   #修改对应配置文件

#添加以下内容
TZ='Asia/Shanghai'; export TZ

source /etc/profile                #生效配置

5.确认NTP服务(环境中已经安装)

操作环境:master、slave1、slave2

#master、slave1、slave2
#环境内已安装
#如未安装，可以用这个命令安装
yum isntall -y ntp

6.屏蔽默认server，设置master为本地时钟源，服务器层级设为10

操作环境: master

#master
vim /etc/ntp.conf                   #修改对应配置文件

#注释以下内容
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

#添加以下内容
server 127.127.1.0
fudge 127.127.1.0 stratum 10

7.主节点开启NTP服务

操作环境: master

#master
systemctl restart ntpd.service       #开启ntp服务

8.从节点在早十-晚五时间段内每隔半个小时同步一次主节点时间（24小时制、用户root任务调度crontab）

操作环境: slave1、slave2

#slave1、slave2
crontab -e                           #创建定时任务

#添加以下内容
*/30 10-17 * * * /usr/sbin/ntpdate master

9.实现主机自身localhost免密访问（内回环）

操作环境: master

#master
ssh localhost                       #ssh免密登录自己

exit                                #退出ssh免密登录

 10.主节点生成公钥文件(数字签名RSA，用户root，主机名master)

操作环境: master

#master
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa         #生成rsa密钥

ssh-copy-id -i /root/.ssh/id_rsa.pub master      #将密钥复制到master

ssh-copy-id -i /root/.ssh/id_rsa.pub slave1      #将密钥复制到slave1

ssh-copy-id -i /root/.ssh/id_rsa.pub slave2      #将密钥复制到slave2

11.实现master对slave1的免密登陆

操作环境: master

#master
ssh slave1                          #ssh免密登录slave1

exit                                #退出ssh免密登录

12.实现master到slave2的免密访问

操作环境: master

#master
ssh slave2                          #ssh免密登录slave2

exit                                #退出ssh免密登录

13.将jdk安装包解压到/usr/java目录（安装包存放于/usr/package/，解压后路径不做修改，默认/usr/java/jdk1.8.0_171，其他安装同理）

操作环境: master、slave1、slave2

#master、slave1、slave2
mkdir -p /usr/java                  #创建目录

cd /usr/java                        #切换到目录

cp /usr/package/jdk-8u171-linux-x64.tar.gz /usr/java  #拷贝压缩包到当前目录

tar -zxvf jdk-8u171-linux-x64.tar.gz   #解压

14./etc/profile中配置JAVA系统环境变量（$JAVA_HOME）

操作环境: master、slave1、slave2

#master、slave1、slave2
vim /etc/profile                     #修改对应配置文件

#添加以下内容
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH CLASSPATH

source /etc/profile                  #生效配置文件

15.验证jdk是否安装成功

操作环境: master、slave1、slave2

#master、slave1、slave2
java -version                       #查看java版本，验证java安装成功