Hadoop3.3.1+centos7 2009 完全分布式最新版配置教程

 

环境准备

安装模板虚拟机，IP 地址 192.168.64.190、主机名称 xqhdp1、内存 2G、硬盘 40G

安装VMware（以版本16为例）

安装CentOS（以版本7为例）提前开启虚拟化

安装远程终端工具（以xshell版本5为例）

配置模板虚拟机

配置主机名

vim /etc/hostname

配置静态IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33

关闭防火墙

修改hosts文件

vim /etc/hosts

在/opt 目录下创建文件夹，存放软件安装包和安装软件的目录

 

卸载系统原有的jdk

命令：rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

重启

克隆模板虚拟机

修改克隆后的主机IP和主机名为指定的IP和主机名，注意要与原来的模板主机不同

 

 其他机器相同操作将IP和主机名修改为指定的并重启

软件配置

配置电脑主机的hosts文件将虚拟机的配置添加进去

安装jdk和Hadoop

利用xftp软件将本机jdk和Hadoop安装包拷贝到主机xqhdp1中

 

解压 JDK和Hadoop 到/opt/module 目录下

命令：tar -zxvf 文件名 -C /opt/module/

 

 

配置环境变量

新建/etc/profile.d/my_env.sh 文件

添加如下内容

 

 

利用命令source使配置文件生效

测试Java和Hadoop是否生效

 

 

编写集群分发脚本 xsync

在家目录下面创建bin文件夹

 

创建新文件xsync

 

编辑文件

 

修改脚本执行权限

测试脚本：

 将脚本所在文件夹同步给另外两台主机

将安装在xqhdp1的jdk和Hadoop同步给xqhdp2、xqhdp3

同步环境变量配置（root 所有者）

在xqhdp2和xqhdp3里使用source命令让环境变量生效

 

配置ssh免密登录

进入家目录下的隐藏文件夹.ssh

使用ssh-keygen -t rsa生成密钥

注意：需要按三次回车，且每台机器都需要执行一次以下操作

将公钥拷贝到要免密登录的目标机器上

命令：ssh-copy-id 主机名（或者IP地址也行）

 

注意：上面的命令同样需要对主机自身进行一次否则无法实现本机对本机的ssh免密登录，且每台机器都需要执行一次上面的操作

 

集群配置

1. 核心配置文件

1. 配置 core-site.xml

 

 

1. HDFS 配置文件

1. 配置 hdfs-site.xml

 

 

1. YARN 配置文件

1. 配置 yarn-site.xml同时在里面配置开启日志聚集功能

 

1. MapReduce 配置文件

1. 配置 mapred-site.xml同时在里面配置历史服务器

 

 

1. 在集群上分发配置好的 Hadoop 配置文件

在另外两台机器上查看内容是否同步成功：

 

 

1. 群起集群

1. 配置 workers

将里面的localltion改为上面的内容，里面就是Hadoop的主机节点。

注意：更改之后就再次进行一次脚本同步

 

1. 启动集群

1. 首次启动集群要进行一个格式化dhfs操作有且只能进行一次

1. 启动 HDFS

1. 在配置了 ResourceManager 的节点（xqhdp2）启动 YARN

1. Web 端查看 HDFS 的 NameNode

 

 

 

 

 

 

1. Web 端查看 YARN 的 ResourceManager

 

 

 

1. Web 端查看历史服务器