4.选择安装程序光盘映像文件,选择浏览找到刚才下载好的CentOS
5. 为该系统创建一个用户
6. 设置虚拟机的名称和位置(点击浏览选择安装位置)
7.设置虚拟机硬盘大小,为了避免影响后续使用,建议设为40GB。
8. 检查虚拟机配置信息,选择创建后打开,完成
9. 选择刚才创建好的虚拟机,如果没有自动开机点击开机
10. 开机后用之前的用户登录
第一次开机需要安装虚拟机,这个过程大概要10分钟左右,开机成功后选择之前创建的账户,填写好密码就能成功进入虚拟机的操作系统界面中了。
10.1 选择用户和填写用户密码
10.2 成功进入虚拟机的操作系统界面
五、对安装好的虚拟机进行设置
1. 打开设置
2. 设置中文
进入设置后,选择 Region & Language 设置语言。
重启后语言就会变为中文,此时会询问你是否修改文件名,选择不修改 ,不建议修改文件名为中文。
3. 修改字体大小
4. 修改终端字体大小
5. 关闭虚拟机
六、创建大数据集群
0. 关闭刚才创建好的虚拟机
1. 右击虚拟机,选择管理,选择克隆
2. 不断点击下一页,到以下页面后,选择创建完整克隆
因为我们要的是完整的服务器,而不是一个链接,所以选择完整克隆。
3. 点击下一页,修改虚拟机的名称和虚拟机的存放地址
4. 点击完成,成功后出现以下界面
5.同样的操作,克隆出node2和node3
6. 右击我的计算机,选择新建文件夹,创建大数据集群文件夹,然后将node1\2\3拖入其中。
7. 设置node1\2\3的内存
以下内存配置只是推荐,要求电脑至少有16GB内存,如果没有,具体内存分配请根据自己的电脑配置设置(如8GB设置为2/1/1)。
node1为主要服务器会运行更多的软件,将其内存设置为4GB
重复上面的步骤设置node2\3的内存为2GB
七、对大数据集群进行配置
0. 将三台虚拟机开机并登录
选择之前创建的用户和填写用户密码
1. 配置三台虚拟机的主机名
1.1右击桌面,打开终端。
1.2 在终端里输入 su - ,再输入当前用户密码切换到超级用户root
只有超级用户root才有权限修改主机名。
1.3 在终端输入 hostnamectl set-hostname node1 修改主机名
1.4 关闭后重新打开终端,检查主机名是否被正确修改
1.5 重复上述步骤将虚拟机node2\3的主机名设置为node2 和 node3
2. 配置固定IP
2.0 以超级用户身份打开配置文件
- 先使用命令su - 切换为超级用户root
- 然后在终端下输入指令 vim /etc/sysconfig/network-scripts/ifcfg-ens33 打开配置文件
- 按i进入插入模式,对文件进行修改
2.1 修改配置文件
- 将BOOTPROTO="dhcp"改为BOOTPROTO=“static” (将协议由自动获取IP变更为固定不变)
- 在末尾添加 IPADDR=“192.168.88.101”(固定后要设置IP地址,node1为192.168.88.101,node2为192.168.88.102,node3为192.168.88.103)
- 在末尾添加 NETMASK=“255.255.255.0” (设置子网掩码)
- 在末尾添加 GATEWAY=“192.168.88.2” (设置网关)
- 在末尾添加 DNS1=“192.168.88.2”(设置DNS服务器,一般和网关一样)
2.2 保存并退出
- 按下Esc退出编辑模式
- 按下Shift + : 进入底行模式
- 输入wq! 强制保存并退出。
2.3 重启网卡
在终端输入 systemctl restart network 重启网卡
2.4 检查是否配置成功
在终端输入 ifconfig 检查inet、netmask是否配置成功
确认以上步骤都做了,但是ifconfig后没有ens33,建议执行以下操作:
systemctl stop NetworkManager--临时关闭 systemctl disable NetworkManager --永久关闭网络管理命令 systemctl start network.service --开启网络服务
2.5 在虚拟机node2和node3下进行如上操作
但要注意在修改配置文件时:在末尾添加 IPADDR=“192.168.88.101”(node1为192.168.88.101,node2为192.168.88.102,node3为192.168.88.103)
2.6 配置主机名映射
2.6.1 在Windows系统中修改hosts文件,在文件末尾加上:
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3步骤:
a. 找到C盘下的hosts文件:C:\Windows\System32\drivers\etc,右击修改属性
b. 修改hosts文件权限为可写入
c. 修改hosts文件,加上配置信息
d. 将hosts文件权限改回
2.6.2 在虚拟机中修改/etc/hosts 文件,在文件末尾加上:
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3步骤:
**a.**在终端下输入指令 vim /etc/hosts 打开配置文件
b. 修改配置文件
按i进入插入模式,在文件末尾加上:
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3c.
保存并退出
- 按下Esc退出编辑模式
- 按下Shift + : 进入底行模式
- 输入wq! 强制保存并退出。
d. 输入指令 vim /etc/hosts 再次打开配置文件,检查是否配置成功.
配置成功,如下图:
e. 对虚拟机node2\3 进行相同操作
3. 设置SSH免密登录
由于是一个集群,未来需要在多个服务器之间跳转,为了方便起见最好配置一下ssh免密登录。
3.1 生成SSH密钥
在每台虚拟机的终端输入以下命令:ssh-keygen -t rsa -b 4096 ,然后一路回车即可。
3.2 授权免密登录
在每台虚拟机上执行以下步骤:
a. 在终端输入命令:ssh-copy-id node1 输入yes 输入用户密码
**b.**在终端输入命令:ssh-copy-id node2 输入yes 输入用户密码
**b.**在终端输入命令:ssh-copy-id node3 输入yes 输入用户密码
e. 检查是否成功免密登录
在虚拟机node1的终端输入 ssh node2 或 ssh node3 看看能否跳转成功。
4. 创建hadoop用户并设置免密登录
为保证安全性(防止误操作对系统造成严重破坏),后续的大数据软件,不会再以root用户启动。为大数据集群创建一个单独的用户hadoop,并为集群上的服务器配置hadoop用户的免密登录。
4.1 在每一台机器执行: useradd hadoop,创建hadoop用户
4.2 在每一台机器执行: passwd hadoop,设置hadoop用户密码为123456
4.3 在每一台机器均切换到hadoop用户: su - hadoop,并执行 ssh-keygen -t rsa -b 4096 ,一路回车,创建ssh密钥
4.4 在每一台机器均执行以下命令,授权免密登录:
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
八、对虚拟机完成JDK环境的部署
JDK就是Java语言的开发环境,很多大数据软件都需要Java环境的支持,所以要预先部署好JDK。
1. 下载JDK
1.1 官网下载跳转
1.2 百度网盘链接 提取码:2233
2. 将下载好的JDK压缩包上传到虚拟机中
2.1 先关闭三台虚拟机的防火墙
在终端执行以下指令: 关闭防火墙: systemctl stop firewalld 关闭防火墙自启: systemctl disable firewalld
2.2 然后安装一个远程管理软件,如Xshell、Finalshell,以root身份登录。
2.3 创建文件夹/export/server,将JDK安装部署到该文件夹中
mkdir -p /export/server
2.4 进入到刚才创建的目录中
cd /export/server
2.5 使用rz命令上传下载好的JDK压缩包(或直接将本地文件拖拽进来)
2.6 解压缩
tar -zxvf jdk-8u361-linux-x64.tar.gz
2.7 删除压缩包
rm -rf jdk-8u361-linux-x64.tar.gz
2.8 配置JDK的软链接
ln -s /export/server/jdk1.8.0_361 jdk
2.9 配置JAVA_HOME环境变量,以及将$JAVA_HOME/bin文件夹加入到PATH环境变量中
a. 使用命令 vim /etc/profile 打开profile文件 b. 按i进入插入模式,在文件末尾加上: export JAVA_HOME=/export/server/jdk export PATH=$PATH:$JAVA_HOME/bin c. 按下Esc退出插入模式,按下Shift+:进入底行模式,输入wq!,强制保存并退出。
2.10 生效环境变量
source /etc/profile
2.11 配置java执行程序的软链接
a. 先删除系统自带的java程序 rm -f /usr/bin/java b. 软链接我们自己安装的java程序 ln -s /export/server/jdk/bin/java /usr/bin/java
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
件夹加入到PATH环境变量中
a. 使用命令 vim /etc/profile 打开profile文件 b. 按i进入插入模式,在文件末尾加上: export JAVA_HOME=/export/server/jdk export PATH=$PATH:$JAVA_HOME/bin c. 按下Esc退出插入模式,按下Shift+:进入底行模式,输入wq!,强制保存并退出。
2.10 生效环境变量
source /etc/profile
2.11 配置java执行程序的软链接
a. 先删除系统自带的java程序 rm -f /usr/bin/java b. 软链接我们自己安装的java程序 ln -s /export/server/jdk/bin/java /usr/bin/java
[外链图片转存中…(img-78zha3td-1714717668871)]
[外链图片转存中…(img-ulNacCDt-1714717668871)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!