VMware上基于centos系统完全分布式Hadoop集群的搭建详解

目录

1.centos系统的环境的准备

1.1.样本机的配置

1.1.1.准备一个centos的虚拟机

1.1.2.关闭系统的防火墙

1.1.3.配置centos系统的IP

1.1.4.修改主机名称

1.1.5. 配置hosts映射文件

1.2.jdk的安装

1.2.1.jdk的下载

1.2.2.虚拟机自带jdk的删除

1.2.3.将jdk上传到虚拟机中

1.2.4.解压jdk配置jdk的环境变量

1.3.Hadoop环境的配置

1.3.1.Hadoop的下载

 1.3.2.Hadoop的上传

1.3.3.解压Hadoop并配置环境变量 

1.3.4.搭建完全分布式Hadoop的环境配置

1.3.5.克隆虚拟机

1.3.6.配置hadoop105，hadoop106

1.4.密钥的分发和脚本的创建

1.4.1.使用ssh分发密钥

1.4.2.脚本的创建

1.4.3.Hadoop启动脚本

1.4.4.进程查看脚本

1.4.5.分发脚本，配置环境变量

1.4.6.格式化Hadoop，启动Hadoop集群

2. 可能出现的报错原因

2.1.在分发过程中要是出现需要密码的情况

2.2.格式化失败后报错

2.3.如果在浏览器连接集群时出现404现象

3.在Windows上查看集群的页面

3.1.查看hdfs的访问页面

3.2.查看MapReduce的访问页面

 3.3.查看历史服务器的访问页面

---

1.centos系统的环境的准备

1.1.样本机的配置

1.1.1.准备一个centos的虚拟机

  准备一个安装了centos的虚拟机，这里使用的centos系统，配置内存为2G，处理器为8(cpu=2,内核=4)，硬盘分配100G。启动创建的虚拟机，点击界面的开启此虚拟机。

   进入到centos系统的用户登录界面，这里为了方便后面对文件的改写时权限不足的情况，我们选择使用root账户进行登录，选择用户左下角的未列出的选项，如果你没有创建用户，界面上是没有用户的。

    进入到登录页面，这里的用户名输入root，密码输入自己root的密码，这里可以点击下一步，也可以直接回车，都会进入下一步。

1.1.2.关闭系统的防火墙

    这里的防火墙是需要关闭的，这是因为我们搭建的是完全分布式系统，需要多个节点来进行通信，如果不关闭后序可能出现防火墙拦截我们Hadoop的通讯信息，这里不需要害怕防火墙关闭导致有病毒传入或者非法用户的入侵，在后续我们会在基于Hadoop集群的外围搭建项目的防火墙。

进入界面后点击鼠标右键选择打开终端，这里我们虚拟机选择的是中文的，如果选择的是英文的选择open的呢个

  输入关闭防火墙的命令，并设置开机自动关闭防火墙

   systemctl stop firewalld #关闭防火墙命令

   systemctl disable firewalld.service #开机自动关闭防火墙命令

1.1.3.配置centos系统的IP

  这里为了后续Hadoop脚本启动Hadoop集群，我们来配置centos为静态的IP，Linux系统默认的情况下是动态的IP。

执行下面的命令来进入到系统的IP配置文件中，如果是其他的Linux系统，配置文件的配置是不相同的，但里面的文件是一致的，这里就讲述centos系统的IP配置文件的目录

vim /etc/sysconfig/network-scripts/ifcfg-ens33

进入到ens33文件中修改IP设置为192.168.10.100(图片截得有点错误)

  这里的网关可以在VMware系统里面进行查看，点击虚拟机上方的编辑->虚拟网络编辑器

进入到页面后点击 Vmnet8，也就NAT网桥模式的

VMware在默认情况下IP和网桥并不是192.168.10.0的，这里如果需要修改我们可以点击右下方的更改设置

 

进入虚拟网络编辑器后我们可以在 下方修改我们的子网ip改为192.168.10.0，子网掩码设置为255.255.255.0(这里是对子网掩码的标识，这是为了防止ip不够用的设置的不同的位数来进行标识，来减少ip不够用的情况，这里如果想要详细了解可以查询计网)

修改网络的网关，选择当前页面的NAT设置(网桥设置)

设置网关为192.168.10.2

点击确认 ，出来后点击应用在点击确定

设置完后为了使创建的虚拟机加载我们设置的虚拟网关和ip需要对虚拟机进行重启，重启后进入到ens-33里面设置ip和网关 

 vim /etc/sysconfig/network-scripts/ifcfg-ens33

在虚拟机的终端中输入reboot命令是对系统的重启

重启后在终端中输入ifconfig来查看ip静态IP是否设置成功

 

1.1.4.修改主机名称

  我们在这里需要修改主机的名称来方便后面编写Hadoop的配置时方便配置

  进入到hostname文件中，在终端输入

  vim /etc/hostname

进入到hostname后点击i键进入编写模式，删除里面的数据，写入Hadoop104，写完后点击Esc键退出编写模式，进入命令模式输入:wq进行保存退出

1.1.5. 配置hosts映射文件

修改hosts的文件映射来方便后续ssh切换时不会出现无法发现其他节点的情况

vim /etc/hosts

在下面添加如下的数据

192.168.10.100 hadoop104
192.168.10.101 hadoop105
192.168.10.102 hadoop106

 添加后整体文件为

修改Windows系统上(你自己的主机)hosts文件，方便后面在Windows页面使用网页访问Hadoop时可以映射到

 这里需要注意的是如果是Windows7版本是可以直接修改hosts文件的，这是因为Windows7版本可以直接获得管理员权限，而后续的版本由于永恒之蓝(445端口)事件，Windows优化了可以直接获得管理员的权限。

目录为

C:\Windows\System32\drivers\etc

接下来介绍Windows7以后版本如何进行操作

进入到etc目录下，找到hosts文件，把他复制到桌面上(这里必须要进行复制，如果直接移除可能导致Windows系统无法发现hosts文件报错)

点击桌面的hosts文件 选择用记事本打开，并在其中添加如下三条数据

192.168.10.100 hadoop104
192.168.10.101 hadoop105
192.168.10.102 hadoop106

 添加后的文本内容为

保存退出（ctrl+s）把桌面的hosts移动到 C:\Windows\System32\drivers\etc目录下替换当前目录下的hosts文件，这里如果弹出是否需要权限进行，点击继续

设置后重启虚拟机的就可以看到我们的用户变为了Hadoop104

1.2.jdk的安装

1.2.1.jdk的下载

 在浏览器中搜索jdk官网，选择jdk官网文件，一般选择介绍是全英文的

进入到官网后往下拉，差不多接近最下面的，官网页面是会一段时间进行变化，不要太过死板的照着图选择。这次我们下载的是jdk-11这是企业最常用的版本

选择jdk的tar版本，这里就不选择rpm版本了，选择tar有利于我们对文件的管理，rpm是具有默认路劲的。你也可以选择你想要下载的jdk版本，在上方可以选择。

 

 这里我之前就下载了，这里就不下载了，下方的命令以我的jdk为标准

1.2.2.虚拟机自带jdk的删除

centos系统是自带jdk的，但他的jdk版本可能不太适合我们后续的开放，我们设置为自己的jdk

打开虚拟机，点击右键打开终端，进行查看是否有自带的jdk

rpm -qa | grep jdk

 删除自带的jdk,这里后面的jdk版本以自带的jdk版本为例&