Hadoop伪分布式配置

1、配置安全组规则，开启服务器端口：

      9000、8031、50070、8088，不建议修改hadoop内部指定的端口号

2、设置环境变量（把Hadoop 的Home目录添加到系统环境变量里面去）

      vim ~/.bash_profile   

      在该文件中把Hadoop的home、bin、sbin目录加到path中去,文件末尾添加如下内容:

      HADOOP_HOME=/usr/local/hadoop

      export HADOOP_HOME

      PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

      export PATH

       

       并生效环境变量：source ~/.bash_profile

 

      查询服务器内部IP的命令：ip addr

 

3、安装配置如下：

      （1）配置hadoop-env.sh

                vim hadoop-env.sh

                注释掉：#export JAVA_HOME=${JAVA_HOME}

                增加：export JAVA_HOME=/usr/share/jdk1.8

                

 

              (可以忽略此演示步骤)

              配置好了本地模式之后，需要通过内部提供的DEMO来测试是否安装成功

              演示Demo：

              存放地址：/usr/local/hadoop/share/hadoop/mapreduce

              如果想了解到底内部提供了多少个Demo，那执行以下语句：

             在mapreduce目录下执行：hadoop jar hadoop-mapreduce-examples-2.6.5.jar

             

 

   （2）配置hdfs-site.xml

            <!--配置HDFS的副本，冗余度-->

            <property>

             <name>dfs.replication</name>

              <value>1</value>

             </property>

 

           <!--配置HDFS的权限-->

          <property>

            <name>dfs.permissions</name>

            <value>false</value>

         </property>

         

     （查询服务器内部IP的命令：ip addr）

 

（3）配置core-site.xml

         <!--配置主机NameNode的主机地址-->

          <property>

             <name>fs.defaultFS</name>

             <value>hdfs://你的内部IP:9000</value>

        </property>

 

      <!--配置存放Datenode数据-->

     <property>

    <name>hadoop.tmp.dir</name>

    <value>/usr/local/hadoop/tmp</value>

    </property>

      

 

（4）配置mapred-site.xml

        <property>

        <name>mapreduce.framework.name</name>

       <value>yarn</value>

       </property>

        

 

（5）配置yarn-site.xml

        <property>

        <name>yarn.resourcemanager.hostname</name>

         <value>你的内部IP </value>

         </property>

 

         <!--配置Nodename的执行方式-->

          <property>

          <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

         </property>

         

 

 

4、格式化NameNode

    hdfs namenode –format

（注意：只需要格式化一次，若要重新格式化，先把（/usr/local/hadoop/tmp） tmp目录下的文件清空）

   

5、启动hadoop：start-all.sh

     hdfs ：存储数据  

     yarn：执行程序即计算

     （关闭hadoop命令：stop-all.sh ）

6. 访问：

（1）命令行jps

（2）JAVA API

（3）Web端

         HDFS：http://服务器ip:50070

         Yarn：http://服务器ip:8088

 

Jps命令：(六个节点)

 

 

格式化nodename时，出现：（把（/usr/local/hadoop/tmp） tmp目录下的文件清空，关闭hadoop（stop-all.sh）,重新格式化，解决问题！！）

 

web端

Yarn：http://服务器ip:8088

 

HDFS：http://服务器ip:50070