目录
1.centos系统的环境的准备
1.1.样本机的配置
1.1.1.准备一个centos的虚拟机
准备一个安装了centos的虚拟机,这里使用的centos系统,配置内存为2G,处理器为8(cpu=2,内核=4),硬盘分配100G。启动创建的虚拟机,点击界面的开启此虚拟机。
进入到centos系统的用户登录界面,这里为了方便后面对文件的改写时权限不足的情况,我们选择使用root账户进行登录,选择用户左下角的未列出的选项,如果你没有创建用户,界面上是没有用户的。
进入到登录页面,这里的用户名输入root,密码输入自己root的密码,这里可以点击下一步,也可以直接回车,都会进入下一步。
1.1.2.关闭系统的防火墙
这里的防火墙是需要关闭的,这是因为我们搭建的是完全分布式系统,需要多个节点来进行通信,如果不关闭后序可能出现防火墙拦截我们Hadoop的通讯信息,这里不需要害怕防火墙关闭导致有病毒传入或者非法用户的入侵,在后续我们会在基于Hadoop集群的外围搭建项目的防火墙。
进入界面后点击鼠标右键选择打开终端,这里我们虚拟机选择的是中文的,如果选择的是英文的选择open的呢个
输入关闭防火墙的命令,并设置开机自动关闭防火墙
systemctl stop firewalld #关闭防火墙命令
systemctl disable firewalld.service #开机自动关闭防火墙命令
1.1.3.配置centos系统的IP
这里为了后续Hadoop脚本启动Hadoop集群,我们来配置centos为静态的IP,Linux系统默认的情况下是动态的IP。
执行下面的命令来进入到系统的IP配置文件中,如果是其他的Linux系统,配置文件的配置是不相同的,但里面的文件是一致的,这里就讲述centos系统的IP配置文件的目录
vim /etc/sysconfig/network-scripts/ifcfg-ens33
进入到ens33文件中修改IP设置为192.168.10.100(图片截得有点错误)
这里的网关可以在VMware系统里面进行查看,点击虚拟机上方的编辑->虚拟网络编辑器
进入到页面后点击 Vmnet8,也就NAT网桥模式的
VMware在默认情况下IP和网桥并不是192.168.10.0的,这里如果需要修改我们可以点击右下方的更改设置
进入虚拟网络编辑器后我们可以在 下方修改我们的子网ip改为192.168.10.0,子网掩码设置为255.255.255.0(这里是对子网掩码的标识,这是为了防止ip不够用的设置的不同的位数来进行标识,来减少ip不够用的情况,这里如果想要详细了解可以查询计网)
修改网络的网关,选择当前页面的NAT设置(网桥设置)
设置网关为192.168.10.2
点击确认 ,出来后点击应用在点击确定
设置完后为了使创建的虚拟机加载我们设置的虚拟网关和ip需要对虚拟机进行重启,重启后进入到ens-33里面设置ip和网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33
在虚拟机的终端中输入reboot命令是对系统的重启
重启后在终端中输入ifconfig来查看ip静态IP是否设置成功
1.1.4.修改主机名称
我们在这里需要修改主机的名称来方便后面编写Hadoop的配置时方便配置
进入到hostname文件中,在终端输入
vim /etc/hostname
进入到hostname后点击i键进入编写模式,删除里面的数据,写入Hadoop104,写完后点击Esc键退出编写模式,进入命令模式输入:wq进行保存退出
1.1.5. 配置hosts映射文件
修改hosts的文件映射来方便后续ssh切换时不会出现无法发现其他节点的情况
vim /etc/hosts
在下面添加如下的数据
192.168.10.100 hadoop104
192.168.10.101 hadoop105
192.168.10.102 hadoop106
添加后整体文件为
修改Windows系统上(你自己的主机)hosts文件,方便后面在Windows页面使用网页访问Hadoop时可以映射到
这里需要注意的是如果是Windows7版本是可以直接修改hosts文件的,这是因为Windows7版本可以直接获得管理员权限,而后续的版本由于永恒之蓝(445端口)事件,Windows优化了可以直接获得管理员的权限。
目录为
C:\Windows\System32\drivers\etc
接下来介绍Windows7以后版本如何进行操作
进入到etc目录下,找到hosts文件,把他复制到桌面上(这里必须要进行复制,如果直接移除可能导致Windows系统无法发现hosts文件报错)
点击桌面的hosts文件 选择用记事本打开,并在其中添加如下三条数据
192.168.10.100 hadoop104
192.168.10.101 hadoop105
192.168.10.102 hadoop106
添加后的文本内容为
保存退出(ctrl+s)把桌面的hosts移动到 C:\Windows\System32\drivers\etc目录下替换当前目录下的hosts文件,这里如果弹出是否需要权限进行,点击继续
设置后重启虚拟机的就可以看到我们的用户变为了Hadoop104
1.2.jdk的安装
1.2.1.jdk的下载
在浏览器中搜索jdk官网,选择jdk官网文件,一般选择介绍是全英文的
进入到官网后往下拉,差不多接近最下面的,官网页面是会一段时间进行变化,不要太过死板的照着图选择。这次我们下载的是jdk-11这是企业最常用的版本
选择jdk的tar版本,这里就不选择rpm版本了,选择tar有利于我们对文件的管理,rpm是具有默认路劲的。你也可以选择你想要下载的jdk版本,在上方可以选择。
这里我之前就下载了,这里就不下载了,下方的命令以我的jdk为标准
1.2.2.虚拟机自带jdk的删除
centos系统是自带jdk的,但他的jdk版本可能不太适合我们后续的开放,我们设置为自己的jdk
打开虚拟机,点击右键打开终端,进行查看是否有自带的jdk
rpm -qa | grep jdk
删除自带的jdk,这里后面的jdk版本以自带的jdk版本为例&