搭建hadoop集群环境一：服务器基础环境准备

一、环境搭建目标

服务器	运行角色
node1.adeaven.com	namenode、datanode、resourceManager、nodeManager
node2.adeaven.com	secondary namenode、datanode、nodeManager
node3.adeaven.com	datanode、nodeManager

二、基础环境搭建

1、hosts在3台服务器的映射

• 修改node的host文件

vim /etc/hosts

2.关闭防火墙

systemctl stop firewalld # 关闭防火墙，下次启动自动启动
systemctl disable firewalld # 禁止防火墙，永不启动
systemctl status firewalld # 查看防火墙状态

3.免密登录

node1|node2|node3之间相互都是免密

• 生成ssh免密登录的公钥和私钥

ssh-keygen # 四个回车，搞定

• 公钥上传到服务器【三台都需要设置，否则无法相互访问】

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

• 测试免密登录

node1–》node2 ,打开node1,输入命令 ssh node2
输入命令 exit ,即可推出node2

4.同步系统时间

yum -y install ntpdate # 安装 ntpdate
ntpdate ntp4.aliyun.com # 同步时间,如果执行失败，再执行一次
date # 查看同步后的时间

5.创建服务器统一工作目录

// 软件安装路径
mkdir -p ./export/server/
// 数据存储路径
mkdir -p ./export/data/
// 安装包存放路径
mkdir -p ./export/software/

6.安装jdk环境

• 上传jdk到node1 /export/software

jdk-8u321-linux-x64.tar.gz 当前使用的是jdk8

• 解压到 /export/server

tar zxvf export/software/jdk-8u321-linux-x64.tar.gz -C export/server

• 配置java环境变量

vim /etc/profile

export JAVA_HOME=export/server/jdk1.8.0_321
 export PATH=$PATH:$JAVA_HOME\bin
 export CLASSPATH=.$JAVA_HOME\lib\dt.jar:$jJAVA_HOME\bin\tools.jar

source /etc/profile
java -version

• 同步环境到node2和node3

scp -r /export/server/jdk1.8.0_321 root@node2:/export/server/
scp -r /etc/profile root@node2:/etc/
同步命令解析
scp -r 要同步的文件夹 用户名@ip[主机名]:目标文件夹所在位置

• 查看node2和node3的java版本

java -version

三、问题处理

• 问题描述

三台服务器的ip在安装系统后分别 192.168.88.128， 192.168.88.129， 192.168.88.130,但是我后来重启几次vmware之后，服务器的ip变了，这就导致我需要修改配置 hostname文件。但这样不解决根本问题，下一次重启ip又变了，总不能再去修改配置文件吧。

• 解决思路

固定三台服务器的IP

• 具体操作步骤

step1:输入命名 ifconfig 查看，现有网卡信息

step2:切换到 root 用户下,修改网卡信息需要root权限
step3: 根据上图中网卡名称修改网卡信息 vi /etc/sysconfig/network-scripts/ifcfg-ens33，其实ens33是网卡名称。

BOOTPROTO=“static”
IPADDR=192.168.88.130
NETMASK=255.255.255.0
GATEWAY=192.168.88.2

step4:编辑 resolv.conf文件

vim /etc/resolv.conf

// 增加内容
nameserver 8.8.8.8
nameserver 8.8.4.4
search localdomain

step4: 保存，退出
step5: 刷新网卡 service network restart

step6: 测试 网卡，ping www.baidu.com ，成功即可

三、写在最后

下一篇：我要学习hadoop的集群环境安装及初始化配置