hadoop集群搭建

hadoop的集群搭建

所需要的tar包版本

1. hadoop-2.7.7.tar.gz
2. jdk-8u212-linux-x64.tar.gz

详情

2. hadoop完全分布式安装

   1. 更改 主机名 (hostname) 主节点：master 两个从节点分别为(slave1和slave2)

   2. 更改 hosts

      192.168.44.111 master
      192.168.44.112 slave1
      192.168.44.113 slave2
      

      reboot 重启三个

   3. 免密登录：

      1. ssh-keygen -t dsa -P “” （生成密钥 三个 都要）

      2. 将slave1和slave2的 密钥发给master的authorized_keys 在将 authorized_keys 发给slave1和slave2

         给予authorized_keys 权限

         chmod 600 authorized_keys 
         

   4. 解压 hadoop 和jdk 的tar包

      tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module
      tar -zxvf jdk-8u212-linux-x64.tar.gz.gz -C /opt/module
      

      配置环境变量

      #java
      export JAVA_HOME=/opt/module/jdk1.8.0_212
      export JRE_HOME=/opt/module/jdk1.8.0_212/jre
      export PATH=$PATH:$JAVA_HOME/bin
      export CLASSPATH=.:$JAVA_HOME/dt.jar:$JAVA_HOME/tools.jar
      
      #hadoop
      export HADOOP_HOME=/opt/module/hadoop-2.7.7
      export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
      
      

      source /etc/profile

      将profile分发给slave1和slave2

      source /etc/profile

   5. 创建三个文件夹

      mkdir /opt/module/hadoop-2.7.7/tmp
      mkdir -p /opt/module/hadoop-2.7.7/hdfs/name
      mkdir -p /opt/module/hadoop-2.7.7/hdfs/data
      

   6. cd /opt/module/hadoop-2.7.7/etc/hadoop(进行配置文件修改)

      1. vi yarn-env.sh

         [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZAyYuVbu-1681886757995)(C:\Users\Lenovo\AppData\Roaming\Typora\typora-user-images\image-20230418211218117.png)]

      2. vi core-site.xml

         <property>
         <name> fs.default.name </name>
         <value>hdfs://master:9000</value>
         </property>
         
         <property>
         <name>fs.defaultFS</name>
         <value>hdfs://master:9000</value>
         </property>
         
         <property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/module/hadoop-2.7.7/tmp</value>
         </property>
         

      3. vi hdfs-site.xml

         <property>
                 <name>dfs.namenode.name.dir</name>
                 <value>file:/opt/module/hadoop-2.7.7/hdfs/name</value>
             </property>
         
             <property>
                 <name>dfs.datanode.data.dir</name>
                 <value>file:/opt/module/hadoop-2.7.7/hdfs/data</value>
             </property>
         
             <property>
                 <name>dfs.replication</name>
                 <value>1</value>
          </property>
         

      4. cp mapred-site.xml.template mapred-site.xml 将mapred-site.xml.template文件复制到当前目录，并重命名为mapred-site.xml

         vi mapred-site.xml

         <property>
                 <name>mapreduce.framework.name</name>
                 <value>yarn</value>
         </property>
         

      5. vi yarn-site.xml

         <property>
                 <name>yarn.resourcemanager.hostname</name>
                 <value>master</value>
         </property>
         
         <property>
         		<name>yarn.nodemanager.aux-services</name>
         		<value>mapreduce_shuffle</value>
         </property>
         

         ​

      6. vi slaves

         slave1
         slave2
         

      7. 将hadoop整体分发给slave1和slave2

      8. 第一次启动Hadoop集群需要格式化

          hdfs namenode -format