一、Linux安装及网络配置
1.虚拟机的选择
虚拟机选择的是VMware Workstation Pro16,下载地址https://www.vmware.com/cn.html,自行选择需要的版本,然后正版激活的方式就因钱而异了。
2.系统的选择
系统选择的是基于Linux内核的CentOS7,下载地址http://vault.centos.org/,将iso文件保存在本地任意文件夹内即可。
3.安装CentOS7
具体安装的流程推荐看这篇博客,写的非常细致:https://blog.csdn.net/qq_39135287/article/details/83993574
4.CentOS7基本设置
先完成一台虚拟机的基本配置,作为母虚拟机。
配置hadoop集群至少需要三台虚拟机,这三台虚拟机是通过对母虚拟机的克隆得到的。
4.1母虚拟机的操作
4.1.1修改网络信息
输入:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
//修改以下内容
BOOTPROTO=static //静态IP地址
ONBOOT=yes //开机自动启用网络连接
//添加以下内容
IPADDR=192.168.***.1 //设置IP地址
NETMASK=255.255.255.0 //子网掩码
GATEWAY=192.168.***.2 //设置网关(网关是和IP在同一个子字段下的不会被IP使用的地址)
DNS1=192.168.1.1 //DNS设置是根据当前使用的网络决定的
IP设置的规则:三者相同(即保证以下三个地方查看到的IP的前三个网段相同)
1.CentOS7中 /etc/sysconfig/network-scripts/ifcfg-ens33
的IPADDR
2.Windows + R
输入cmd
进入命令行模式,输入ipconfig
查看到的以太网适配器 VMware Network Adapter VMnet8下的IPv4 地址
3.进入VMware依次点击编辑(E)
-虚拟网络编辑器(N)
-VMnet8(NAT模式)
-NAT设置(S)
后看到的子网IP,注意这里看到的网关即/etc/sysconfig/network-scripts/ifcfg-ens33
中GATEWAY
应该设置为的网关
4.1.2永久关闭防火墙
依次输入:
systemctl stop firewalld.service // 停止firewalld
systemctl disable firewalld.service // 禁止开机启动
输入:
vi /etc/sysconfig/selinux
将SELINUX
修改为disabled
全部修改完成后输入service network restart
重启网络服务,或者直接重启虚拟机,此时母虚拟机的基本配置就完成了。
4.2创建hadoop集群中的三台虚拟机
4.2.1将母虚拟机克隆三份
4.2.1单独配置每台虚拟机的网络(四步)
第一步:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改IPADDR,修改IP以区分不同的虚拟机
第二步:
vi /etc/hostname
修改该主机的名称,以用名称的方式区分不同虚拟机
第三步:
vi /etc/hosts
将三台虚拟机的IP和主机名输入进去
例如:
192.168.11.111 hadoop1
192.168.11.222 hadoop2
192.168.11.333 hadoop3
第四步:
去本机C:\Windows\System32\drivers\etc\hosts
把新的虚拟机的IP和主机名添加进去,为了可以在网络上通过主机名找到对应的IP
二、Haoop集群配置
集群的三台机器为hadoop2、3、4
1.创建新用户testman
[root@hadoop1 ~]$ useradd testman
[root@hadoop1 ~]$ passwd testman
2.赋予testman用户root的权限
[root@hadoop1 ~]#vi /etc/sudoers
修改以下内容:
## Allow root to run any commands anywhere
root ALL=(ALL) ALL //原有内容
testman ALL=(ALL) ALL //添加该行
3.在/opt目录操作
在/opt目录下创建module、software文件夹,并修改所有者
[testman@hadoop101 opt]$ sudo mkdir module
[testman@hadoop101 opt]$ sudo mkdir software
[testman&