HADOOP伪分布安装

1. 步骤：
   1. 永久关闭防火墙
      1. systemctl status firewalld.service（查看防火墙状态）
      2. systemctl stop firewalld.service（永久关闭防火墙）
   2. 配置主机名：

      1. 编辑network文件：vi /etc/sysconfig/network  HOSTNAME=hadoop01

      2. 让network文件重新生效：source /etc/sysconfig/network

   3. 配置hosts文件，将主机名和ip地址进行映射

      1. 编辑hosts文件：vim /etc/hosts  192.168.64.132 hadoop01

   4. 配置ssh进行免密互通

      1. 生成自己的公钥和私钥,生成的公私钥将自动存放在/root/.ssh目录下：ssh-keygen

      2. 把生成的公钥拷贝到远程机器上，格式为：ssh-copy-id [user]@host，例如：ssh-copy-id root@hadoop01

   5. 重启Linux让主机名的修改生效：reboot

   6. 安装JDK

      1. 创建目录software;mkdir software

      2. 用filezilla把jdk文件传至software文件下

      3. 解压jdk：tar -xvf jdk-7u51-linux-x64.tar.gz

      4. 配置环境变量vi /etc/profile

         #set java env
         JAVA_HOME=/home/software/jdk1.8.0_212
         JAVA_BIN=/home/software/jdk1.8.0_212/bin
         PATH=$JAVA_HOME/bin:$PATH
         CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
         export JAVA_HOME JAVA_BIN PATH CLASSPATH
         

          

      5. 环境变量生效：source /etc/profile

      6. 检测jdk是否生效：java -version

         java version "1.8.0_212"
         Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
         Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

          

   7. 上传或者下载Hadoop安装包到Linux中

   8. 解压安装包：tar -xvf hadoop-2.7.1_64bit.tar.gz

   9. 进入Hadoop的安装目录的子目录etc/hadoop，配置Hadoop：cd hadoop2.7.1/etc/hadoop

   10. 配置hadoop-env.sh
       1. 编辑hadoop-env.sh：vim hadoop-env.sh
       2. 修改JAVA_HOME的路径，修改成具体的路径。例如：export JAVA_HOME=/home/software/jdk1.8
       3. 修改HADOOP_CONF_DIR的路径，修改为具体的路径，例如：export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop
       4. 保存退出文件
       5. 重新加载生效：source hadoop-env.sh
   11. 配置 core-site.xml
       1. 编辑core-site.xml：vim core-site.xml
       2. 添加如下内容：

          		<property>
          		    <!-- 指定HDFS中的主节点 - namenode -->
          		    <name>fs.defaultFS</name>               
          		    <value>hdfs://hadoop01:9000</value>
          		</property>
          		<property>
          		    <!-- 执行Hadoop运行时的数据存放目录 -->
          		    <name>hadoop.tmp.dir</name>
          		    <value>/home/software/hadoop-2.7.1/tmp</value>
          		</property>
          

           

       3. 保存退出

   12. 配置 hdfs-site.xml
       1. 编辑hdfs-site.xml：vim hdfs-site.xml
       2. 添加如下配置：

          		<property>
          		    <!-- 设置HDFS中的复本数量 -->
          		    <!-- 在伪分布式下，值设置为1 -->
          		    <name>dfs.replication</name>
          		    <value>1</value>
          </property>

           

       3. 保存退出
   13. 配置 mapred-site.xml
       1. 将mapred-site.xml.template复制为mapred-site.xml：cp mapred-site.xml.template mapred-site.xml
       2. 编辑mapred-site.xml：vim mapred-site.xml
       3. 添加如下配置：

          		<property>
          		    <!-- 指定将MapReduce在Yarn上运行  -->
          		    <name>mapreduce.framework.name</name>
          		    <value>yarn</value>
          		</property>
          

           

       4. 保存退出
   14. 配置 yarn-site.xml
       1. 编辑yarn-site.xml：vim yarn-site.xml
       2. 添加如下内容：

          		<!-- 指定Yarn的主节点 - resourcemanager -->
          		<property>
          		    <name>yarn.resourcemanager.hostname</name>
          		    <value>hadoop01</value>
          		</property>
          		<!-- NodeManager的数据获取方式 -->
          		<property>
          		    <name>yarn.nodemanager.aux-services</name>
          		    <value>mapreduce_shuffle</value>
          		</property>
          

           

       3. 保存退出
   15. 配置slaves
       1. 编辑slaves：vim slaves
       2. 添加从节点信息，例如：hadoop01
       3. 保存退出
   16. 配置hadoop的环境变量
       1. 编辑profile文件：vim /etc/profile
       2. 添加Hadoop的环境变量，例如：export HADOOP_HOME=/home/software/hadoop-2.7.1export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
       3. 保存退出
       4. 重新生效：source /etc/profile

   17. 格式化namenode：hadoop namenode -format

   18. 启动hadoop：start-all.sh