目录
一、克隆
(1)VMware操作
①右键左侧虚拟机---管理---克隆
②下一页---下一页---创建完整克隆---下一步
③修改虚拟机名称、修改安装位置,并点击完成,建议类似这样(D盘\你的文件夹\放虚拟机的文件夹\具体节点文件夹):
D:\HSN\虚拟机的大文件夹\master
D:\HSN\虚拟机的大文件夹\slave1
D:\HSN\虚拟机的大文件夹\slave2
D:\HSN\虚拟机的大文件夹\slave3
(2)克隆完成后,拖动回你的文件夹
(2)虚拟机进入slave1系统进行配置
①超级用户登录,su
②查看并修改网络配置文件,命令:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
- 修改后的IP如:IPADDR=192.168.53.201(跟/etc/hosts文件的主机映射IP、域名保持一致)
-
重启网络服务,命令:
service network restart
- 如果出现出现报错,输入以下两条命令重置网络管理器:
1.systemctl stop NetworkManager
2.systemctl restart network
3.再重新使用service network restart,如果[ok],就尝试下一步查看IP地址
(3)查IP地址,命令:ip addr
(4)修改主机名称,命令:
hostnamectl set-hostname slave1
(5)重启,命令:exit
(6)在master主机用ping命令,验证映射后的虚拟机是否互通,命令:
ping slave1
二、SSH免密
假设我们现在需要把master的/usr/local/hadoop-3.1.3/test/路径下的aa.txt文件(Windows上传、或者mkdir aa文件夹、或者echo “hello,world”>aa.txt、或者vi命令都可以)分发给slave1的里,同样是放到路径/usr/local/hadoop-3.1.3/test/下,这里用到了scp命令进行数据传输:
- scp命令的使用:
- 要使master虚拟机能够向slave1虚拟机传输文件,确实需要确保slave1上的SSH服务允许root用户登录,则需要配置好slave1的/etc/ssh/sshd_config文件,找到以下行,更改为PermitRootLogin yes
-
输入:scp -r root@master:/usr/local/hadoop-3.1.3/test/aa.txt root@slave1:/usr/local/hadoop-3.1.3/test/,解析:
- /usr/local/hadoop-3.1.3/test/:接收端slave1存放文件的路径。
- root@slave1:目标机器的用户名(root)和主机名(slave1)
- /usr/local/hadoop-3.1.3/test/aa.txt:发动端master传输的文件的路径
- root@master:发送端帐号(root)和主机名(master)
ssh免密过程:
(1)在master主机里,先尝试ssh登录,命令:ssh slave1,现在需要输入密码登录。
(2)先从slave1退出,回到master主机里,使用exit或者logout命令
(3)在master主机里,使用ssh-keygen产生公钥与私钥对,命令:ssh-keygen -t rsa(执行命令后,对弹出提示连续按3次回车键)。
(4)进入home目录,用命令:ll -al查看隐藏文件,能看到隐藏文件.ssh。
(5)进入.ssh文件夹,再使用ll命令查看文件,其中,id_rsa是私钥,is_rsa.pub是公钥。
(6)在master主机,使用命令ssh-copy-id slave1将公钥复制到slave1中,期间需要输入slave1密码,然后使用ssh命令登录slave1,成功无密登录过程如下:
(7)切换到slave1主机,进入/root/.ssh路径,用cat命令查看授权文件,当最后显示的是root/master时候,表示master主机已授权:
(8)同理,重复(6)(7)对slave2,slave3进行免密设置。
(9)最后,在master也给自己也发放公钥,命令:ssh-copy-id master(为后续启动集群做准备)
三、配置时间同步服务
(1)也可以使用命令:ntpq -c version进行版本查看,如果自带安装时间同步服务,则跳到第步,如下图显示:
- 如果没有,则使用命令安装yum install -y ntp
(2)修改vi /etc/ntp.conf文件,用#注释掉server行,并添加以下代码:
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap server 127.127.1.0 fudge 127.127.1.0 stratum 10
(3)同理,修改slave1、slave2、slave3的/etc/ntp.conf文件
(4)在master使用:systemctl start ntpd、systemctl enable ntpd启动服务、systemctl status ntpd查看服务状态
(5)在slave1、slave2、slave3使用命令ntpdate master同步时间
(6)在slave1、slave2、slave3使用命令systemctl start ntpd、systemctl enable ntpd启动服务、systemctl status ntpd查看服务状态,出现类似(4)中的状态。
四、总结:
虚拟机克隆技术能够迅速复制和部署新的虚拟机实例,极大提高了系统部署的效率和灵活性。SSH免密登录通过密钥对认证,简化了远程登录过程,提高了系统的安全性和操作的便捷性。配置时间同步服务对于分布式系统如Hadoop集群至关重要,它能确保集群内各节点时间一致,避免因时间差异导致的数据不一致和任务调度问题,保障系统的稳定运行和数据处理的准确性。