分布式hadoop集群搭建

时间：2019年11月24日 16:32:46
  完全分布式hadoop的搭建至少需要3台机器，可在VMware下新建三台虚拟机备用

1 环境准备

1.1 修改本机host

  参考地址：修改host
  修改3台虚拟机的host如下

hadoop1
hadoop2
hadoop3

1.2 java配置

  参考地址：java配置

1.3 免密登陆

  参考地址Ubuntu下免密登陆

$ vim /etc/hosts

<ip addresss 1>  hadoop1
<ip addresss 2>  hadoop2
<ip addresss 3>  hadoop3

1.4 下载hadoop包

  地址链接
  博主下载版本为2.7.7

2 集群搭建

2.1 hadoop主要文件配置

  切换到 etc/hadoop 目录下

2.1.1 slaves文件

增加地址

hadoop2
hadoop3

2.1.2 配置 core-site.xml

<configuration>
        <!-- 指定hdfs的nameservice为ns1 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
        <!-- Size of read/write buffer used in SequenceFiles. -->
        <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
       </property>
        <!-- 指定hadoop临时目录,自行创建 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/lqs/hadoop/tmp</value>
        </property>
</configuration>

2.1.3 配置 hdfs-site.xml

<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop1:50090</value>
    </property>
    <!-- 代表几个DataNode节点--!>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/home/lqs/hadoop/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/home/lqs/hadoop/hdfs/data</value>
    </property>
</configuration>

2.1.4 配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- Configurations for ResourceManager -->
     <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
     </property>
     <property>
           <name>yarn.resourcemanager.address</name>
           <value>hadoop1:8032</value>
     </property>
     <property>
          <name>yarn.resourcemanager.scheduler.address</name>
          <value>hadoop1:8030</value>
      </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>hadoop1:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>hadoop1:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>hadoop1:8088</value>
     </property>
</configuration>

2.1.5 配置mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop1:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop1:19888</value>
  </property>
</configuration>

2.1.6 将配置好的Hadoop发送到其他节点

$ scp -r hadoop-2.7.7 hadoop2:/home/lqs/hadoop
$ scp -r hadoop-2.7.7 hadoop3:/home/lqs/hadoop

2.1.7 格式化节点

  切换到 bin 目录下

$ hdfs namenode -format

2.2 启动集群

  切换到 sbin 目录下启动集群

$ ./start-all.sh

  查看主节点进程

$ jps

SecondaryNameNode #重要
NameNode #重要
NodeManager #可有可无
ResourceManager #非常重要

  查看副节点进程

$ jps

DataNode #重要
NodeManager #可有可无

2.3 网页端查看

  浏览器输入地址： http://< ip address >:50070/ 和 http://< ip address >:8088/
  本文参考博客：链接地址