Hadoop学习笔记（3）Linux环境配置与部署

一、Xshell配置远程登录VMWare中Linux服务器

分别在虚拟机master、slave、slave1中打开终端，输入命令ifconfig查看IP

[admin@master ~]$ ifconfig

[admin@slave ~]$ ifconfig

[admin@slave1 ~]$ ifconfig

找到ens33下的inet地址
打开Xshell，新建会话，主机处填写ens33下的inet地址

点击连接，然后输入root以及密码。即可连接成功。

二、配置时钟同步

目的：为了使多个节点在同步文件配置、计算时，没有延迟，避免同步失败。
操作步骤：
切换到root用户，并且输入命令crontab -e

[admin@localhost ~]$ su - root
密码：
[root@localhost ~]# crontab -e

点击“i”进入insert模式。输入如下内容。0 1 * * *代表年月日时分；/usr/sbin/ntpdate代表目录；cn.pool.ntp.org代表要调用的域的时间

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

同理，在另外两个节点做同样的操作。

三、修改Hostname

输入命令登录root用户

[admin@localhost ~]$ su - root

输入密码，登录完成。
输入命令hostname查看当前主机名为localhost.localdomain

[root@localhost ~]# hostname
localhost.localdomain

更改/etc/sysconfig下的network文件，输入命令vim /etc/sysconfig/network，然后将HOSTNAME后面的值改为想要设置的主机名。比如主机名：master

[root@localhost ~]# vim /etc/sysconfig/network

进入界面后，点击“i”进行INSERT界面。然后配置两个键值对

NETWORKING=yes  #(yes是启动时联网,no是启动时不联网)
HOSTNAME=master #(此处gugu是你要修改的主机名奥)

点击ESC，输入“:wq”进行保存退出

输入命令reboot命令，重新启动服务器
```powershell
[root@localhost ~]# reboot

重启后如果没有生效，则尝试输入命令（其他两个节点同理）

[root@localhost ~]# hostname master

最终结果是修改成功

[admin@master ~]$ su - root
密码：
上一次登录：四 1月 28 22:56:46 CST 2021pts/0 上
[root@master ~]# hostname
master

同理，把slave、slave1两个节点也修改好。

四、关闭防火墙

登录root用户，并输入setup命令

[admin@master ~]$ su - root
密码：
[root@master ~]# setup

选择“系统服务”，点击tab键切换到运行工具，并确定

选择防火墙服务，点击空格键去掉*号


点击tab键选到确定按钮

然后退出，完成防火墙设置

slave、slave1两个节点同理设置。
设置好了后使用命令查看防火墙状态

[admin@master ~]$ systemctl status firewalld

可以看到防火墙还是active (running)状态

[admin@master ~]$ systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: active (running) since 日 2021-02-21 13:46:01 CST; 9h ago
     Docs: man:firewalld(1)
 Main PID: 761 (firewalld)
    Tasks: 2
   CGroup: /system.slice/firewalld.service
           └─761 /usr/bin/python2 -Es /usr/sbin/firewalld --nofork --nopid

2月 21 13:46:00 localhost.localdomain systemd[1]: Starting firewalld - dynamic firewall daemon...
2月 21 13:46:01 localhost.localdomain systemd[1]: Started firewalld - dynamic firewall daemon.
2月 21 13:46:01 localhost.localdomain firewalld[761]: WARNING: AllowZoneDrifting is enabled. This is considered an insecure configuration option. It will be r...g it now.
Hint: Some lines were ellipsized, use -l to show in full.

然后输入命令关闭防火墙

[admin@master ~]$ systemctl stop firewalld
==== AUTHENTICATING FOR org.freedesktop.systemd1.manage-units ===
Authentication is required to manage system services or units.
Authenticating as: admin
Password: 
==== AUTHENTICATION COMPLETE ===

再查看防火墙状态即可看到inactive (dead)关闭状态。代表防火墙设置成功。

[admin@master ~]$ systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

2月 21 13:46:00 localhost.localdomain systemd[1]: Starting firewalld - dynamic firewall daemon...
2月 21 13:46:01 localhost.localdomain systemd[1]: Started firewalld - dynamic firewall daemon.
2月 21 13:46:01 localhost.localdomain firewalld[761]: WARNING: AllowZoneDrifting is enabled. This is considered an insecure configuration option. It will be r...g it now.
2月 21 23:02:30 master systemd[1]: Stopping firewalld - dynamic firewall daemon...
2月 21 23:02:32 master systemd[1]: Stopped firewalld - dynamic firewall daemon.
Hint: Some lines were ellipsized, use -l to show in full.
[admin@master ~]$ 

同时设置开机时禁用防火墙

systemctl disable firewalld

另外两个节点的防火墙同样的操作设置。

五、master、slave、slave1三个节点间SSH互相访问设置

首先，在master主节点，登录root用户，输入密码

[admin@master ~]$ su - root

输入命令vim /etc/hosts

[root@master ~]# vim /etc/hosts

进入如下页面，点击“i” 追加3个IP：192.168.0.105 master；192.168.0.106 slave；192.168.0.107 slave1

127.0.0.1   localhost master localhost4 localhost4.localdomain4
::1         localhost master localhost6 localhost6.localdomain6
192.168.0.105 master
192.168.0.106 slave
192.168.0.107 slave1

同理，在两个从节点slave、slave1也追加相同的IP
salve节点：

127.0.0.1   localhost slave localhost4 localhost4.localdomain4
::1         localhost slave localhost6 localhost6.localdomain6
192.168.0.105 master
192.168.0.106 slave
192.168.0.107 slave1

slave1节点：

127.0.0.1   localhost slave1 localhost4 localhost4.localdomain4
::1         localhost slave1 localhost6 localhost6.localdomain6
192.168.0.105 master
192.168.0.106 slave
192.168.0.107 slave1

设置完成后，进行访问测试

[admin@master ~]$ su - root
密码：
上一次登录：六 1月 30 11:57:22 CST 2021pts/0 上
[root@master ~]# ssh slave
root@slave's password: 
Last login: Sat Jan 30 12:06:15 2021
[root@slave ~]# 

测试成功。同理slave、slave1节点也自行进行测试。同时，在每个节点的.ssh目录会生成一个known_hosts文件。注意：通过vim可以查看，网络WIFI可能会时IP地址变化，known_hosts中的IP地址也要跟着变化。不然会影响后续hadoop启动。

[admin@master ~]$ cd ~/.ssh
[admin@master .ssh]$ ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[admin@master .ssh]$ vim known_hosts