Centos安装Hadoop

当前界面systemctl get-default
graphical.target(图形化界面)
multi-user.target(命令行界面)

图形界面转命令行界面 
systemctl set-default multi-user.target

reboot

1.设置固定IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改以下参数
ONBOOT = yes                          //自动启动网络
BOOTRPPTO = static        //静态获取地址
HWADDR=Mac地址
IPADDR=192.168.150.134
NETMASK=255.255.255.0
GETEWAY=192.168.150.2
DNS1=223.5.5.5

重启网络命令
systemctl start network.service
or
service network restart

2.替换掉自带JDK
yum -y install java-1.8.0-openjdk-devel.x86_64

3.修改主机名
hostnamectl set-hostname  新主机名
4.配置ssh免密服务
ssh-keygen -t rsa 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized

5.修改host IP与主机映射文件
vim /etc/hosts
IP 主机名

6.关闭防火墙 

暂时关闭防火墙：
systemctl stop firewalld

重启
systemctl start firewalld

执行开机禁用防火墙自启命令  ：
 systemctl disable firewalld.service

防火墙随系统开启启动
systemctl enable firewalld.service

7.解压hadoop压缩包 tar -zxf hadoop压缩包

8.配置全局变量或局部变量
vim /etc/profile
or
vim ~/.bashrc
修改完记得 source 一下

9.修改配置文件
core-site.xml    
hdf-site.xml          //完全分布需配置SecondaryNamenode 是哪台主机
mapred-sit.xml
yarn-site.xml    //完全分布需要配置yarn资源调度器的管理者
slaves/worker     //完全分布式需要配置

动态增加节点
在Hadoop集群开启的时，如果要添加的从节点
环境配置需一致 同样互相配置ssh免密服务

在所添加的从节点下 hadoop安装目录下的 sbin目录下单独启动
   
./hadoop-demo.sh start datanode

在主节点hadoop安装目录下的 sbin目录下
./start-balancer.sh

目的：由于动态增加节点导致资源分布不均衡，会导致负载，所以需要平衡一下资源

动态删除节点
修改 hdfs-site.xml ,添加一下内容
        <property>
                <name>dfs.hosts.exclude</name>
                <value>/opt/hadoop/etc/hadoop/excludes</value>
        </property>

在对应路径下 创建 excludes 文件 添加索要删除的节点的主机名
vim excludes
slave

刷新一下
hdfs dfsadmin refreshNodes

平衡节点，以防负载均衡
./start-balancer.sh