Centos7安装hadoop2.7.2完全分布式集群

Centos7安装hadoop2.7.2完全分布式集群

为了模拟生产环境，我们需要搭建一个完全分布式集群，以供后续的学习​和实验所用。下面是安装hadoo完全分布式集群的详细操作步骤。

一、虚拟机环境配置

系统	主机	地址	hadoop版本	jdk版本
centos7	hadoop01	192.168.241.201	2.7.2	1.8
centos7	hadoop02	192.168.241.202	2.7.2	1.8
centos7	hadoop03	192.168.241.203	2.7.2	1.8

（1）单机配置

① 修改主机名

vi /etc/hostname

② 添加主机映射

vi /etc/hosts

③ 修改IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33

④ 关闭防火墙

#关闭防火墙
systemctl stop firewalld
#禁止防火墙开机启动
systemctl disable firewalld

⑤ 创建hadoop用户

sudo useradd hadoop #创建hadoop用户
sudo passwd hadoop #设置hadoop用户密码

⑥ 设置hadoop用户拥有root权限

vi /etc/sudoers
#找到文件中Allow root to run any commands anywhere 这一行
#添加 hadoop ALL=(ALL:ALL) NOPASSWD:ALL
#若root用户也无法修改该文件，则使用 visudo -f /etc/sudoers

⑦ 创建安装目录和安装包目录并修改所有者

mkdir /opt/module /opt/software 
#创建/opt/module 和 /opt/software 目录
chown hadoop:hadoop /opt/module /opt/software
# 将目录所有者修改为hadoop

⑧ 安装必要环境

yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static

（2） 节点配置

克隆当前虚拟机两台，分别命名为hadoop02和hadoop03
参照① ② ③ 三步，对hadoop02和hadoop03进行修改
重启三台虚拟机

a）配置ssh免密登录

ssh-keygen -t rsa  #连续回车

cd /home/hadoop/.ssh

ssh-copy-id hadoop01   ##将公钥拷贝到需要免密登录的节点上
ssh-copy-id hadoop02
ssh-copy-id hadoop03

在执行过程中，需要输入一次节点密码

#执行ssh hadoop01、ssh hadoop02 、ssh hadoop03 验证免密登录是否生效
ssh hadoop01
ssh hadoop02
ssh hadoop03

如果所示，即为免密登录hadoop02成功

b）集群时间同步设置

#所有节点执行以下命令
#关闭ntp服务
systemctl stop ntpd
systemctl disable ntpd

① 修改hadoop01节点的ntp.conf 文件

vi /etc/ntp.conf

修改为下图标出内容

② 修改hadoop01节点的/etc/sysconfig/ntpd文件

vi /etc/sysconfig/ntpd
#添加图中标出内容

③ 重启ntp服务

systemctl start ntpd
systemctl enable ntpd

④ hadoop02/03节点的配置
在hadoop02 和hadoop03 上配置定时任务，定时为10分钟一次

crontab -e
#输入以下内容
*/10 * * * * /usr/sbin/ntpdate hadoop01

c）创建文件同步脚本
在/home/hadoop目录下创建

vi /home/hadoop/xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop01 hadoop02 hadoop03
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

二、hadoop集群部署

(1) 集群规划

注意1：NameNode和SecondaryNameNode不要部署在同一台服务器
注意2：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode部署在同一台服务器上
具体配置如下：

	hadoop01	hadoop02	hadoop03
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode、DataNode
YARN	NodeManager	ResourceManager、NodeManager	NodeManager

(2) 开始安装

① 安装jdk
a.首先查看是否有原生jdk

rpm -qa |grep java

若有显示则用下面的语句进行删除

​rpm -e --nodeps 文件名  #确保删除干净

b.将jdk安装包放到/opt/software/ 目录下

c.解压到/opt/module目录下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

d.为了方便书写，将目录修改为jdk

mv /opt/module/​jdk1.8.0_73 /opt/module/jdk

e.配置环境变量

vi /etc/profile.d/my_env.sh

重启xshell窗口，验证环境变量是否生效

② hadoop安装
​a.将hadoop压缩包放入目录/opt/software/

​b.解压至/opt/module目录

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module

并将目录改名为hadoop

c.配置环境变量

vi /etc/profile.d/my_env.sh

重启shell窗口，验证环境变量是否生效

③ hadoop配置文件修改
a. 修改core-sit.xml

vi /opt/module/hadoop/etc/hadoop/core-sit.xml

b.修改hdfs-site.xml

vi /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml

c.修改yarn-site.xml

vi /opt/module/hadoop/etc/hadoop/yarn-site.xml

d.修改mapred-site.xml

cp /opt/module/hadoop/etc/hadoop/mapred-site.xml.template /opt/module/hadoop/etc/hadoop/mapred-site.xml
vi /opt/module/hadoop/etc/hadoop/mapred-site.xml

e.修改hadoop-env.sh

vi /opt/module/hadoop/etc/hadoop/hadoop-env.sh

f.修改slaves文件

vi /opt/module/hadoop/etc/hadoop/slaves

g.分发jdk和hadoop到各节点

xsync /opt/module/
xsync /etc/profile.d/my_env.sh

③ 集群启动
a.单点启动

#格式化NameNode
#hadoop01上用hadoop用户执行
hdfs namenode -format
#如下图箭头所指的，即为初始化成功

b.集群启动

#hadoop01上用hadoop用户执行
start-dfs.sh
#完成后可执行jps 查看namenode进程是或否启动

#hadoop02执行，启动yarn
start-yarn.sh
#完成后执行jps查看进程

创建查看各个节点进程的脚本

vi /home/hadoop/jpsall.sh

#!/bin/bash
for i in hadoop01 hadoop02 hadoop03
do
  echo "======== $i ========"
  ssh $i "jps " | grep -v jps
done

执行结果

③ 验证hadoop安装是否成功
1.登录hdfs管理界面(端口为50070)

2.登录yarn管理界面

至此，hadoop集群已部署完成，后续可进行其他组件的搭建和开发​。

关注公众号，一起学习大数据技术