「大数据-0」虚拟机VMware安装、配置、使用、创建大数据集群教程_vmware搭建虚拟机集群

4.选择安装程序光盘映像文件,选择浏览找到刚才下载好的CentOS

5. 为该系统创建一个用户

6. 设置虚拟机的名称和位置(点击浏览选择安装位置)

7.设置虚拟机硬盘大小,为了避免影响后续使用,建议设为40GB。

8. 检查虚拟机配置信息,选择创建后打开,完成

9. 选择刚才创建好的虚拟机,如果没有自动开机点击开机

10. 开机后用之前的用户登录

第一次开机需要安装虚拟机,这个过程大概要10分钟左右,开机成功后选择之前创建的账户,填写好密码就能成功进入虚拟机的操作系统界面中了。


10.1 选择用户和填写用户密码


10.2 成功进入虚拟机的操作系统界面


五、对安装好的虚拟机进行设置

1. 打开设置

2. 设置中文

进入设置后,选择 Region & Language 设置语言。

重启后语言就会变为中文,此时会询问你是否修改文件名,选择不修改 ,不建议修改文件名为中文。

3. 修改字体大小

4. 修改终端字体大小

5. 关闭虚拟机


六、创建大数据集群

0. 关闭刚才创建好的虚拟机

1. 右击虚拟机,选择管理,选择克隆

2. 不断点击下一页,到以下页面后,选择创建完整克隆

因为我们要的是完整的服务器,而不是一个链接,所以选择完整克隆。

3.  点击下一页,修改虚拟机的名称和虚拟机的存放地址

4. 点击完成,成功后出现以下界面

5.同样的操作,克隆出node2和node3

6. 右击我的计算机,选择新建文件夹,创建大数据集群文件夹,然后将node1\2\3拖入其中。

7. 设置node1\2\3的内存

以下内存配置只是推荐,要求电脑至少有16GB内存,如果没有,具体内存分配请根据自己的电脑配置设置(如8GB设置为2/1/1)。


node1为主要服务器会运行更多的软件,将其内存设置为4GB


重复上面的步骤设置node2\3的内存为2GB


七、对大数据集群进行配置

0. 将三台虚拟机开机并登录


选择之前创建的用户和填写用户密码

1. 配置三台虚拟机的主机名

1.1右击桌面,打开终端。


1.2 在终端里输入 su - ,再输入当前用户密码切换到超级用户root

只有超级用户root才有权限修改主机名。


1.3 在终端输入 hostnamectl set-hostname node1 修改主机名


1.4 关闭后重新打开终端,检查主机名是否被正确修改


1.5 重复上述步骤将虚拟机node2\3的主机名设置为node2 和 node3

2. 配置固定IP

2.0 以超级用户身份打开配置文件

  • 先使用命令su - 切换为超级用户root
  • 然后在终端下输入指令 vim /etc/sysconfig/network-scripts/ifcfg-ens33 打开配置文件
  • 按i进入插入模式,对文件进行修改

2.1 修改配置文件

  • 将BOOTPROTO="dhcp"改为BOOTPROTO=“static” (将协议由自动获取IP变更为固定不变)
  • 在末尾添加 IPADDR=“192.168.88.101”(固定后要设置IP地址,node1为192.168.88.101,node2为192.168.88.102,node3为192.168.88.103)
  • 在末尾添加 NETMASK=“255.255.255.0” (设置子网掩码)
  • 在末尾添加 GATEWAY=“192.168.88.2” (设置网关)
  • 在末尾添加 DNS1=“192.168.88.2”(设置DNS服务器,一般和网关一样)


2.2 保存并退出

  • 按下Esc退出编辑模式
  • 按下Shift + : 进入底行模式
  • 输入wq! 强制保存并退出。

2.3 重启网卡

在终端输入 systemctl restart network 重启网卡


2.4 检查是否配置成功

在终端输入 ifconfig 检查inet、netmask是否配置成功

确认以上步骤都做了,但是ifconfig后没有ens33,建议执行以下操作:

systemctl stop NetworkManager--临时关闭
systemctl disable NetworkManager --永久关闭网络管理命令
systemctl start network.service  --开启网络服务

2.5 在虚拟机node2和node3下进行如上操作

但要注意在修改配置文件时:在末尾添加 IPADDR=“192.168.88.101”(node1为192.168.88.101,node2为192.168.88.102,node3为192.168.88.103)


2.6 配置主机名映射

2.6.1 在Windows系统中修改hosts文件,在文件末尾加上:

192.168.88.101 node1
        192.168.88.102 node2
        192.168.88.103 node3

步骤:

a. 找到C盘下的hosts文件:C:\Windows\System32\drivers\etc,右击修改属性

b. 修改hosts文件权限为可写入

c. 修改hosts文件,加上配置信息

d. 将hosts文件权限改回


2.6.2 在虚拟机中修改/etc/hosts 文件,在文件末尾加上:

192.168.88.101 node1
        192.168.88.102 node2
        192.168.88.103 node3

步骤:

**a.**在终端下输入指令 vim /etc/hosts 打开配置文件

b. 修改配置文件

按i进入插入模式,在文件末尾加上:

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

c.
保存并退出

  • 按下Esc退出编辑模式
  • 按下Shift + : 进入底行模式
  • 输入wq! 强制保存并退出。

d. 输入指令 vim /etc/hosts 再次打开配置文件,检查是否配置成功.

配置成功,如下图:

e. 对虚拟机node2\3 进行相同操作

3. 设置SSH免密登录

由于是一个集群,未来需要在多个服务器之间跳转,为了方便起见最好配置一下ssh免密登录。


3.1 生成SSH密钥

在每台虚拟机的终端输入以下命令:ssh-keygen -t rsa -b 4096 ,然后一路回车即可。


3.2 授权免密登录

在每台虚拟机上执行以下步骤:

a. 在终端输入命令:ssh-copy-id node1   输入yes   输入用户密码

**b.**在终端输入命令:ssh-copy-id node2   输入yes   输入用户密码

**b.**在终端输入命令:ssh-copy-id node3   输入yes   输入用户密码

e. 检查是否成功免密登录

在虚拟机node1的终端输入 ssh node2 或 ssh node3 看看能否跳转成功。

4. 创建hadoop用户并设置免密登录

为保证安全性(防止误操作对系统造成严重破坏),后续的大数据软件,不会再以root用户启动。为大数据集群创建一个单独的用户hadoop,并为集群上的服务器配置hadoop用户的免密登录。


4.1 在每一台机器执行: useradd hadoop,创建hadoop用户


4.2 在每一台机器执行: passwd hadoop,设置hadoop用户密码为123456


4.3 在每一台机器均切换到hadoop用户: su - hadoop,并执行 ssh-keygen -t rsa -b 4096 ,一路回车,创建ssh密钥


4.4 在每一台机器均执行以下命令,授权免密登录
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3


八、对虚拟机完成JDK环境的部署

JDK就是Java语言的开发环境,很多大数据软件都需要Java环境的支持,所以要预先部署好JDK。

1. 下载JDK

1.1 官网下载跳转


1.2 百度网盘链接  提取码:2233

2. 将下载好的JDK压缩包上传到虚拟机中

2.1 先关闭三台虚拟机的防火墙

在终端执行以下指令:
关闭防火墙:
systemctl stop firewalld

关闭防火墙自启:
systemctl disable firewalld


2.2 然后安装一个远程管理软件,如Xshell、Finalshell,以root身份登录。


2.3 创建文件夹/export/server,将JDK安装部署到该文件夹中

mkdir -p /export/server

2.4 进入到刚才创建的目录中

cd /export/server

2.5 使用rz命令上传下载好的JDK压缩包(或直接将本地文件拖拽进来)


2.6 解压缩

tar -zxvf jdk-8u361-linux-x64.tar.gz

2.7 删除压缩包

rm -rf jdk-8u361-linux-x64.tar.gz

2.8 配置JDK的软链接

ln -s /export/server/jdk1.8.0_361 jdk


2.9 配置JAVA_HOME环境变量,以及将$JAVA_HOME/bin文件夹加入到PATH环境变量中

a. 使用命令 vim /etc/profile 打开profile文件

b. 按i进入插入模式,在文件末尾加上:
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

c. 按下Esc退出插入模式,按下Shift+:进入底行模式,输入wq!,强制保存并退出。

2.10 生效环境变量

source /etc/profile

2.11 配置java执行程序的软链接

a. 先删除系统自带的java程序
rm -f /usr/bin/java

b. 软链接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java

img
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

件夹加入到PATH环境变量中

a. 使用命令 vim /etc/profile 打开profile文件

b. 按i进入插入模式,在文件末尾加上:
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

c. 按下Esc退出插入模式,按下Shift+:进入底行模式,输入wq!,强制保存并退出。

2.10 生效环境变量

source /etc/profile

2.11 配置java执行程序的软链接

a. 先删除系统自带的java程序
rm -f /usr/bin/java

b. 软链接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java

[外链图片转存中…(img-78zha3td-1714717668871)]
[外链图片转存中…(img-ulNacCDt-1714717668871)]

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值