在Linux上搭建Hadoop3.1.1

准备工作

通过克隆获得三台虚拟机

准备工作：时间同步、时区调整、JDK1.8环境、配置主机名、关闭防火墙、配置静态IP

无特别说明，三台虚拟机都要完成准备工作

1、时间同步

ntpdate ntp.aliyun.com

2、调整时区

timedatectl set-timezone Asia/Shanghai

3、JDK 1.8

java -version

4、修改主机名

三台虚拟机分别设置为：master、node1、node2

master为主节点、其余都是从节点

主机名修改完后断开连接，重新登录即可生效

hostnamectl set-hostname 主机名

5、关闭防火墙

systemctl stop firewalld

• 查看防火墙状态：systemctl status firewalld

• 取消防火墙自启：systemctl disable firewalld

6、静态IP配置

• 直接使用图形化界面配置（不推荐）

• 手动编辑配置文件进行配置

  # 1、编辑网络配置文件
  vim /etc/sysconfig/network-scripts/ifcfg-ens33
  ​
  # 需要根据自身情况修改： 
  # IPADDR（根据自己的网段，自定义IP地址，三台虚拟机不能使用相同IP）
  # GATEWAY（根据自己的网段填写对应的网关地址）
  # DNS1 （同网关地址保持一致即可）
  # 其他直接使用下列配置
  TYPE=Ethernet
  BOOTPROTO=static
  NAME=ens33
  DEVICE=ens33
  ONBOOT=yes
  IPADDR=192.168.190.100
  GATEWAY=192.168.190.2
  NETMASK=255.255.255.0
  DNS1=192.168.190.2
  DNS2=223.6.6.6
  ​
  # 2、关闭NetworkManager，并取消开机自启
  systemctl stop NetworkManager
  systemctl disable NetworkManager
  ​
  # 3、重启网络服务
  systemctl restart network

7、免密登录

只需要配置master到master、master到node1、master到node2即可

# 1、生成密钥
ssh-keygen -t rsa
# 2、配置免密登录
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
# 3、测试免密登录
# 从master分别登录node1、node2
# 观察是否需要密码，如不需要则免密登录配置成功
ssh node1
ssh node2

8、修改hosts

需要基于三台节点的静态IP进行配置

vim /etc/hosts
​
# 按情况加入以下内容
​
192.168.190.100 master
192.168.190.101 node1
192.168.190.102 node2

Hadoop集群搭建

1、上传安装包并解压

# 使用xftp上传压缩包至master的/usr/local/soft/packages/
# 上传位置无特殊要求，能找到即可
cd /urs/local/soft/packages/
# 解压
tar -zxvf hadoop-3.1.1.tar.gz -C /usr/local/soft/

2、配置环境变量

三台都需要修改

vim /etc/profile
​
# 增加以下配置
HADOOP_HOME=/usr/local/soft/hadoop-3.1.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
​
# 重新加载环境变量
source /etc/profile

3、修改Hadoop配置文件

• 切换到配置文件所在目录

  cd /usr/local/soft/hadoop-3.1.1/etc/hadoop/

• 通过vim编辑并修改下列配置文件

  • hadoop-env.sh

    # 在最后加入以下配置
    export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
    export HDFS_NAMENODE_USER=root
    export HDFS_DATANODE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root
    export YARN_RESOURCEMANAGER_USER=root
    export YARN_NODEMANAGER_USER=root

  • core-site.xml

       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://master:9000</value>
       </property>
    ​
       <property>
           <name>hadoop.tmp.dir</name>
           <value>/usr/local/soft/hadoop-3.1.1/data</value>
       </property>
    ​
       <property>
           <name>fs.trash.interval</name>
           <value>1440</value>
       </property>

  • hdfs-site.xml

       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
    ​
       <property>
           <name>dfs.permissions</name>
           <value>false</value>
       </property>

  • mapred-site.xml

       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
    ​
       <property>  
           <name>mapreduce.jobhistory.address</name>  
           <value>master:10020</value>  
       </property>  
    ​
       <property>  
           <name>mapreduce.jobhistory.webapp.address</name>  
           <value>master:19888</value>  
       </property> 
    ​
       <property>
           <name>yarn.app.mapreduce.am.env</name>
           <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
       </property>
    ​
       <property>
           <name>mapreduce.map.env</name>
           <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
       </property>
    ​
       <property>
           <name>mapreduce.reduce.env</name>
           <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
       </property>

  • workers

    node1
    node2

  • yarn-site.xml

       <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>master</value>
       </property>
    ​
       <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
    ​
       <property>
           <name>yarn.log-aggregation-enable</name>
           <value>true</value>
       </property>
    ​
       <property>
           <name>yarn.log-aggregation.retain-seconds</name>
           <value>604800</value>
       </property>
    ​
       <property>
           <name>yarn.nodemanager.vmem-check-enabled</name>
           <value>false</value>
       </property>
    ​
       <property>
           <name>yarn.nodemanager.pmem-check-enabled</name>
           <value>false</value>
       </property>

4、分发Hadoop到node1、node2

cd /usr/local/soft/
scp -r hadoop-3.1.1/ node1:`pwd`
scp -r hadoop-3.1.1/ node2:`pwd`

5、格式化namenode

只需在第一次启动的时候在Master节点上执行

hdfs namenode -format

6、启动Hadoop集群

start-all.sh

7、检查master、node1、node2上的进程

• master：

  [root@master soft]# jps
  2597 NameNode
  2793 SecondaryNameNode
  2953 ResourceManager
  3215 Jps

• node1：

  [root@node1 jdk1.8.0_171]# jps
  11361 DataNode
  11459 NodeManager
  11559 Jps

• node2：

  [root@node2 ~]# jps
  11384 DataNode
  11482 NodeManager
  11582 Jps

8、访问HDFS的WEB界面

注意新版本的端口由50070变成了9870

http://master:9870

9、访问YARN的WEB界面

http://master:8088

Hadoop集群重置

1、停止集群

stop-all.sh
​
# 若进程停不掉 可直接使用进程号进行kill

2、删除所有节点上hadoop产生的数据文件

三台都要执行

cd /usr/local/soft/hadoop-3.1.1
rm -rf data/

3、重新格式化namenode

hdfs namenode -format

4、启动集群

start-all.sh