Hadoop集群搭建（分布式）

Hadoop集群搭建（分布式版本）

一、准备工作

• 三台虚拟机：master、node1、node2

• 时间同步

  ntpdate ntp.aliyun.com
  

• jdk1.8

  java -version
  

• 修改主机名

  三台分别执行 vim /etc/hostname 并将内容指定为对应的主机名
  

• 关闭防火墙：systemctl stop firewalld

  • 查看防火墙状态：systemctl status firewalld
  • 取消防火墙自启：systemctl disable firewalld

• 静态IP配置

  • 直接使用图形化界面配置（不推荐）

  • 手动编辑配置文件进行配置

    1、编辑网络配置文件
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    
    TYPE=Ethernet
    BOOTPROTO=static
    HWADDR=00:0C:29:E2:B8:F2
    NAME=ens33
    DEVICE=ens33
    ONBOOT=yes
    IPADDR=192.168.190.100
    GATEWAY=192.168.190.2
    NETMASK=255.255.255.0
    DNS1=192.168.190.2
    DNS2=223.6.6.6
    
    需要修改：HWADDR（mac地址,centos7不需要手动指定mac地址）
    		IPADDR（根据自己的网段，自定义IP地址）
    		GATEWAY（根据自己的网段填写对应的网关地址）
    
    2、关闭NetworkManager，并取消开机自启
    systemctl stop NetworkManager
    systemctl disable NetworkManager
    
    3、重启网络服务
    systemctl restart network
    

• 免密登录

  # 1、生成密钥
  ssh-keygen -t rsa
  # 2、配置免密登录
  ssh-copy-id master
  ssh-copy-id node1
  ssh-copy-id node2
  # 3、测试免密登录
  ssh node1
  

• 配置好映射文件：/etc/hosts

  192.168.190.100 master
  192.168.190.101 node1
  192.168.190.102 node2
  

二、搭建Hadoop集群

1、上传安装包并解压

# 使用xftp上传压缩包至master的/usr/local/soft/packages/
cd /urs/local/soft/packages/
# 解压
tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/

2、配置环境变量

vim /etc/profile

JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# 重新加载环境变量
source /etc/profile

3、修改Hadoop配置文件

• cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

• core-site.xml

      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
  
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/soft/hadoop-2.7.6/tmp</value>
      </property>
  
      <property>
          <name>fs.trash.interval</name>
          <value>1440</value>
      </property>
  

• hadoop-env.sh

  export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
  

  

• hdfs-site.xml

      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
  
      <property>
          <name>dfs.permissions</name>
          <value>false</value>
      </property>
  

• mapred-site.xml.template

  # 1、重命名文件
  cp mapred-site.xml.template mapred-site.xml
  # 2、修改
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
  
      <property>  
          <name>mapreduce.jobhistory.address</name>  
          <value>master:10020</value>  
      </property>  
  
      <property>  
          <name>mapreduce.jobhistory.webapp.address</name>  
          <value>master:19888</value>  
      </property> 
  

• slaves

  node1
  node2
  

• yarn-site.xml

      <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>master</value>
      </property>
  
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
  
      <property>
          <name>yarn.log-aggregation-enable</name>
          <value>true</value>
      </property>
  
      <property>
          <name>yarn.log-aggregation.retain-seconds</name>
          <value>604800</value>
      </property>
  

4、分发Hadoop到node1、node2

cd /usr/local/soft/
scp -r hadoop-2.7.6/ node1:`pwd`
scp -r hadoop-2.7.6/ node2:`pwd`

5、格式化namenode（第一次启动的时候需要执行）

hdfs namenode -format

6、启动Hadoop集群

start-all.sh

7、检查master、node1、node2上的进程

• master：

  [root@master soft]# jps
  2597 NameNode
  2793 SecondaryNameNode
  2953 ResourceManager
  3215 Jps
  

• node1：

  [root@node1 jdk1.8.0_171]# jps
  11361 DataNode
  11459 NodeManager
  11559 Jps
  

• node2：

  [root@node2 ~]# jps
  11384 DataNode
  11482 NodeManager
  11582 Jps
  

8、访问HDFS的WEB界面

http://master:50070

9、访问YARN的WEB界面

http://master:8088