准备新节点
第一步:复制一台新的虚拟机出来
将我们纯净的虚拟机复制一台出来,作为我们新的节点
第二步:修改mac地址以及IP地址
修改mac地址命令
vim /etc/udev/rules.d/70-persistent-net.rules
修改ip地址命令
vim /etc/sysconfig/network-scripts/ifcfg-eth0
第三步:关闭防火墙,关闭selinux
关闭防火墙
service iptables stop
关闭selinux
vim /etc/selinux/config
第四步:更改主机名
更改主机名命令
vim /etc/sysconfig/network
第五步:四台机器更改主机名与IP地址映射
四台机器都要添加hosts文件
vim /etc/hosts
192.168.52.100 node01.Hadoop.com node01
192.168.52.110 node02.Hadoop.com node02
192.168.52.120 node03.Hadoop.com node03
192.168.52.130 node04.Hadoop.com node04
第六步:node04服务器关机重启并生成公钥与私钥
node04执行以下命令关机重启
reboot
node04执行以下命令生成公钥与私钥
ssh-keygen 按4个回车生产公钥与私钥
node04执行以下命令将node04的私钥拷贝到node01服务器
ssh-copy-id node01
node01执行以下命令,将authorized_keys拷贝给node04
cd /root/.ssh/
scp authorized_keys node04:
P
W
D
∗
∗
∗
第
七
步
:
n
o
d
e
04
安
装
j
d
k
n
o
d
e
04
统
一
两
个
路
径
∗
∗
∗
m
k
d
i
r
−
p
/
e
x
p
o
r
t
/
s
o
f
t
w
a
r
e
s
/
m
k
d
i
r
−
p
/
e
x
p
o
r
t
/
s
e
r
v
e
r
s
/
∗
∗
∗
然
后
解
压
j
d
k
安
装
包
,
配
置
环
境
变
量
,
或
将
集
群
中
的
j
a
v
a
安
装
目
录
拷
贝
一
份
,
并
配
置
环
境
变
量
。
∗
∗
∗
第
八
步
:
解
压
H
a
d
o
o
p
安
装
包
∗
∗
∗
在
n
o
d
e
04
服
务
器
上
面
解
压
H
a
d
o
o
p
安
装
包
到
/
e
x
p
o
r
t
/
s
e
r
v
e
r
s
n
o
d
e
01
执
行
以
下
命
令
将
H
a
d
o
o
p
安
装
包
拷
贝
到
n
o
d
e
04
服
务
器
∗
∗
∗
c
d
/
e
x
p
o
r
t
/
s
o
f
t
w
a
r
e
s
/
s
c
p
h
a
d
o
o
p
−
2.6.0
−
c
d
h
5.14.0
−
自
己
编
译
后
的
版
本
.
t
a
r
.
g
z
n
o
d
e
04
:
PWD*** 第七步:node04安装jdk node04统一两个路径 ***mkdir -p /export/softwares/ mkdir -p /export/servers/*** 然后解压jdk安装包,配置环境变量,或将集群中的java安装目录拷贝一份,并配置环境变量。 ***第八步:解压Hadoop安装包*** 在node04服务器上面解压Hadoop安装包到/export/servers node01执行以下命令将Hadoop安装包拷贝到node04服务器 ***cd /export/softwares/ scp hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz node04:
PWD∗∗∗第七步:node04安装jdknode04统一两个路径∗∗∗mkdir−p/export/softwares/mkdir−p/export/servers/∗∗∗然后解压jdk安装包,配置环境变量,或将集群中的java安装目录拷贝一份,并配置环境变量。∗∗∗第八步:解压Hadoop安装包∗∗∗在node04服务器上面解压Hadoop安装包到/export/serversnode01执行以下命令将Hadoop安装包拷贝到node04服务器∗∗∗cd/export/softwares/scphadoop−2.6.0−cdh5.14.0−自己编译后的版本.tar.gznode04:PWD
第九步:将node01关于Hadoop的配置文件全部拷贝到node04
node01执行以下命令,将Hadoop的配置文件全部拷贝到node04服务器上面
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
scp ./ node04:$PWD*
服役新节点具体步骤
第一步:创建dfs.hosts文件
在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建***dfs.hosts***文件
[root@node01 Hadoop]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
[root@node01 Hadoop]# touch dfs.hosts
[root@node01 Hadoop]# vim dfs.hosts
添加如下主机名称(包含新服役的节点)
node01
node02
node03
node04
第二步:node01编辑hdfs-site.xml添加以下配置
在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性
node01执行以下命令
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim hdfs-site.xml
dfs.hosts
/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts
第三步:刷新namenode
第四步:更新resourceManager节点
node01执行以下命令刷新resourceManager
[root@node01 Hadoop]# yarn rmadmin -refreshNodes
******第五步:namenode的slaves文件增加新服务节点主机名称
node01编辑slaves文件,并添加新增节点的主机,更改完后,slaves文件不需要分发到其他机器上面去
node01执行以下命令编辑slaves文件
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim slaves
node01
node02
node03
node04
第六步:单独启动新增节点
node04服务器执行以下命令,启动datanode和nodemanager
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
第七步:浏览器查看
第八步:使用负载均衡命令,让数据均匀负载所有机器
node01执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh
退役旧数据节点
目标:掌握HDFS在集群中删除掉无效节点的步骤
第一步:创建dfs.hosts.exclude配置文件
在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件,并添加需要退役的主机名称
node01执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts.exclude
node04
第二步:编辑namenode所在机器的hdfs-site.xml
编辑namenode所在的机器的hdfs-site.xml配置文件,添加以下配置
node01执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml
node01
node02
node03
namenode所在节点也就是node01执行以下命令刷新namenode和resourceManager
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
第七步:从namenode的slave文件中删除退役节点
namenode所在机器也就是node01执行以下命令从slaves文件中删除退役节点
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves
node01
node02
node03
第八步:如果数据负载不均衡,执行以下命令进行均衡负载
node01执行以下命令进行均衡负载
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh