Hadoop3.0集群安装部署

前提配置：jdk1.8

• 解压Hadoop（根据自己情况来）

  • tar -zxf /usr/local/install_package/hadoop-3.1.3.tar.gz -C /opt/
    

• 修改配置文件，进入到etc/hadoop目录下

  • 修改hadoop.env.sh 在文件末尾追加

    • #添加jdk地址
      export JAVA_HOME=/usr/java/jdk1.8.0_162
      
      #设置启动节点，防止启动时报错，2.0可以省略
      export HDFS_NAMENODE_USER=root
      export HDFS_DATANODE_USER=root
      export HDFS_SECONDARYNAMENODE_USER=root
      export YARN_RESOURCEMANAGER_USER=root
      export YARN_NODEMANAGER_USER=root
      

  • 修改core-site.xml 在 configuration 中添加以下内容

    •   <!-- 设置data存放路径 -->
          <property>
              <name>hadoop.tmp.dir</name>
              <value>/opt/hadoop-3.1.3/data</value>
          </property>
        <!-- 设置主节点 -->
          <property>
              <name>fs.defaultFS</name>
              <value>hdfs://master:8020</value>
          </property>
      

  • 修改yarn-site.xml 在 configuration 中添加以下内容

    •     <!-- 指定shuffle方式 -->
          <property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
          </property>
      
          <!-- 指定ResourceManager地址 -->
          <property>
              <name>yarn.resourcemanager.hostname</name>
              <value>master</value>
          </property>
      
          <!-- 取消虚拟内存限制 -->
          <property>
              <name>yarn.nodemanager.vmem-check-enabled</name>
              <value>false</value>
          </property>
      
          <!-- 设置最小内存-->
          <property>
              <name>yarn.scheduler.minimum-allocation-mb</name>
              <value>1024</value>
          </property>
      
          <!-- 设置最小cpu核数-->
          <property>
              <name>yarn.scheduler.minimum-allocation-vcores</name>
              <value>1</value>
          </property>
      
          <!-- 开启log日志-->
          <property>
              <name>yarn.log-aggregation-enable</name>
              <value>true</value>
          </property>
      

  • 修改works

    • #添加设置三台主机
      #去掉localhost
      master
      slave1
      slave2
      

  • 修改hdfs-site.xml 在 configuration 中添加以下内容

    •     <!-- 指定副本数 -->
          <property>
              <name>dfs.replication</name>
              <value>3</value>
          </property>
      

  • 修改mapred-site.xml 在 configuration 中添加以下内容

    •     <!-- 指定MapReduce运行在yarn上 -->
          <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
          </property>
      

• 分发Hadoop到另外两台电脑上

  • scp -r /opt/hadoop-3.1.3 slave1:/opt/
    scp -r /opt/hadoop-3.1.3 slave2:/opt/
    

• 初始化

  • #切换到bin目录下。
    #格式化完后找到 "successfully formatted" 表示格式化成功
    ./hdfs namenode -format
    
    common.Storage: Storage directory /opt/hadoop-3.1.3/data/dfs/name has been successfully formatted.
    

• 启动

  • #切换到sbin目录下
    cd ../sbin/
    #启动Hadoop
    ./start-all.sh
    

• 检查启动节点

  • jps
    13058 DataNode
    13266 SecondaryNameNode
    12931 NameNode
    14038 Jps
    13544 ResourceManager
    13704 NodeManager
    
    #六个节点全部启动表示启动成功
    

如有问题可在下方留言
感谢大家的观看！！！