CentOS7搭建hadoop3.0.3集群

1. 关闭防火墙
   1. 查看防火墙状态 firewall-cmd –state
   2. 停止firewall systemctl stop firewalld.service
   3. 禁止firewall开机启动 systemctl disable firewalld.service
2. .配置主机名
   1. 设置主机名 hostnamectl set-hostname hadoop01
   2. 查看主机名 hostname hostnamectl
   3. vim /etc/sysconfig/network
      1. 内容信息如下
      2. NETWORING=yes
      3. HOSTNAME=hadoop01
3. 配置hosts文件
   1. 192.168.244.131 hadoop01
   2. 192.168.244.132 hadoop02
4. 配置免密码登录
   1. 在hadoop01节点
      1. 执行ssh-keygen，一路回车即可
      2. 在 目录 ~/.ssh下生成 id_rsa.pub
      3. cat id_rsa.pub>> authorized_keys
   2. 在hadoop02节点执行相同操作
   3. 将hadoop01的id_rsa.pub内容追加在hadoop02的authorized_keys文件中
   4. 将hadoop02的id_rsa.pub内容追加在hadoop01的authorized_keys文件中、
   5. 将每个节点 chmod 700 ~/.ssh chmod 600 authorized_keys
   6. 每个节点 /bin/systemctl start sshd.service 启动ssh服务
   7. 重启系统 reboot
5. 安装jdk 参考linux目录下的安装 linux安装JDK
6. 上传和解压hadoop安装包 tar -xvf hadoop-3.0.3-src.tar.gz
   1. 目录说明： bin目录：命令脚本 etc/hadoop:存放hadoop的配置文件 lib目录：hadoop运行的依赖jar包 sbin目录：启动和关闭hadoop等命令都在这里 libexec目录：存放的也是hadoop命令，但一般不常用
7. 将hadoop的bin目录下的可执行文件加入到系统变量中
   1. vim /ect/profile
      1. #set java environment

JAVA_HOME=/usr/local/src/java/jdk1.8.0_151

HADOOP_HOME=/usr/local/src/hadoop/hadoop-3.0.3

JAVA_BIN=/usr/local/src/java/jdk1.8.0_151/bin

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH HADOOP_HOME

• 1. vim ~/.bash_profile
     1. # User specific environment and startup programs

export JAVA_HOME=/usr/local/src/java/jdk1.8.0_151

export HADOOP_HOME=/usr/local/src/hadoop/hadoop-3.0.3

PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin

export PATH

source生效

有两种，不知道具体是那个生效。没有进行实验

Hadoop部分：（目录根据自己的路径）

1. 进入到/usr/local/src/hadoop/hadoop-3.0.3/etc/hadoop
2. 配置 hadoop-env.sh(vim hadoop-env.sh )
   1. export JAVA_HOME=/usr/local/src/java/jdk1.8.0_151
   2. export HADOOP_HOME=/usr/local/src/hadoop/hadoop-3.0.3
   3. export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
3. source hadoop-env.sh 使得设置生效，使得hadoop命令可用
4. 修改core-site.xml
   1. <configuration>

                  <property>

                 <name>fs.defaultFS</name>

                 <value>hdfs://hadoop01:9000</value>

                 </property>

                <property>

               <name>hadoop.tmp.dir</name>

               <value>/usr/local/src/hadoop/tmp</value>

               </property>

             <property>

             <name>io.sort.mb</name>

            <value>1024</value>

                </property>

              </configuration>

1. vim hdfs-site.xml
   1. <configuration>

                 <property>

                 <name>dfs.datanode.data.dir</name>

               <value>/usr/local/src/hadoop/data</value>

               </property>

                 <property>

                <name>dfs.replication</name>

                <value>3</value>

            </property>

            <property>

              <name>dfs.permissions</name>

              <value>false</value>

           </property>

           <property>

         <name>dfs.namenode.name.dir</name>

         <value>/usr/local/src/hadoop/name</value>

           </property>

          </configuration>

 

1. vim mapred-site.xml
   1. <configuration>

             <property>

            <name>mapreduce.framework.name</name>

           <value>yarn</value>

          </property>

          <property>

           <name>mapreduce.admin.user.env</name>

         <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>

        </property>

      <property>

       <name>yarn.app.mapreduce.am.env</name>

       <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>

     </property>

   </configuration>

1. vim yarn-site.xml
   1. <configuration>

               <!-- Site specific YARN configuration properties -->

              <property>

             <name>yarn.nodemanager.aux-services</name>

           <value>mapreduce_shuffle</value>

          </property>

          <property>

          <name>yarn.resourcemanager.hostname</name>

         <value>hadoop01</value>

        </property>

       <property>

        <name>yarn.nodemanager.pmem-check-enabled</name>

        <value>false</value>

       </property>

        <property>

        <name>yarn.nodemanager.vmem-check-enabled</name>

         <value>false</value>

         </property>

        </configuration>

 

1. 配置workers文件 （注意：3.0为workers文件 之前为slavels文件）
   1. hadoop01
   2. hadoop02
2. /usr/local/src/hadoop/hadoop-3.0.3/sbin
3. vim start-dfs.sh
   1. HDFS_DATANODE_USER=root

                 HDFS_DATANODE_SECURE_USER=root

                HDFS_NAMENODE_USER=root

               HDFS_SECONDARYNAMENODE_USER=root

1. vim start-yarn.sh
   1. YARN_RESOURCEMANAGER_USER=root

                  HADOOP_SECURE_DN_USER=root

                YARN_NODEMANAGER_USER=root

1. vim stop-yarn.sh
   1. YARN_RESOURCEMANAGER_USER=root

                    HADOOP_SECURE_DN_USER=root

                   YARN_NODEMANAGER_USER=root

1. vim stop-dfs.sh
   1. HDFS_DATANODE_USER=root

                 HDFS_DATANODE_SECURE_USER=root

                  HDFS_NAMENODE_USER=root

                  HDFS_SECONDARYNAMENODE_USER=root

            以上文件添加在首行

21. 将hadoop目录scp到其他两台机器的相应目录下

scp /usr/local/src/hadoop/hadoop-3.0.3 hadoop02:/usr/local/src/hadoop/hadoop-3.0.3

scp /usr/local/src/hadoop/hadoop-3.0.3 hadoop03:/usr/local/src/hadoop/hadoop-3.0.3

22. cd /usr/local/src/hadoop/hadoop-3.0.3/sbin

start-all.sh

23. 访问 dfs集群状态

http://hadoop01:9870

http://hadoop01:18088