大数据平台Hadoop的分布式集群环境搭建

1 概述

本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点

NN=NameNode(名称节点)

SND=SecondaryNameNode(NameNode的辅助节点)

DN=DataNode(数据节点)

2 前期准备

(1)准备五台服务器

如：master1、master2、slave1、slave2、slave3

(2)关闭所有服务器的防火墙

$ systemctl stop firewalld
$ systemctl disable firewalld

(3)分别修改各服务器的/etc/hosts文件，内容如下：

192.168.56.132 master1
192.168.56.133 master2
192.168.56.134 slave1
192.168.56.135 slave2
192.168.56.136 slave3

注：对应修改个服务器的/etc/hostname文件，分别为 master1、master2、slave1、slave2、slave3

(4)分别在各台服务器创建一个普通用户与组

$ groupadd hadoop #增加新用户组
$ useradd hadoop -m -g hadoop #增加新用户
$ passwd hadoop #修改hadoop用户的密码

切换至hadoop用户：su hadoop

(5)各服务器间的免密码登录配置，分别在各自服务中执行一次

$ ssh-keygen -t rsa #一直按回车，会生成公私钥
$ ssh-copy-id hadoop@master1 #拷贝公钥到master1服务器
$ ssh-copy-id hadoop@master2 #拷贝公钥到master2服务器
$ ssh-copy-id hadoop@slave1 #拷贝公钥到slave1服务器
$ ssh-copy-id hadoop@slave2 #拷贝公钥到slave2服务器
$ ssh-copy-id hadoop@slave3 #拷贝公钥到slave3服务器

注：以上操作需要登录到hadoop用户操作

(6)下载hadoop包，hadoop-2.7.5.tar.gz

官网地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/