Hadoop伪分布式配置

1、配置安全组规则,开启服务器端口:

      9000、8031、50070、8088,不建议修改hadoop内部指定的端口号

2、设置环境变量(把Hadoop 的Home目录添加到系统环境变量里面去)

      vim ~/.bash_profile   

      在该文件中把Hadoop的home、bin、sbin目录加到path中去,文件末尾添加如下内容:

      HADOOP_HOME=/usr/local/hadoop

      export HADOOP_HOME

      PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

      export PATH

       

       并生效环境变量:source ~/.bash_profile

 

      查询服务器内部IP的命令:ip addr

 

3、安装配置如下:

      (1)配置hadoop-env.sh

                vim hadoop-env.sh

                注释掉:#export JAVA_HOME=${JAVA_HOME}

                增加:export JAVA_HOME=/usr/share/jdk1.8

                

 

              (可以忽略此演示步骤)

              配置好了本地模式之后,需要通过内部提供的DEMO来测试是否安装成功

              演示Demo:

              存放地址:/usr/local/hadoop/share/hadoop/mapreduce

              如果想了解到底内部提供了多少个Demo,那执行以下语句:

             在mapreduce目录下执行:hadoop jar hadoop-mapreduce-examples-2.6.5.jar

             

 

   (2)配置hdfs-site.xml

            <!--配置HDFS的副本,冗余度-->

            <property>

             <name>dfs.replication</name>

              <value>1</value>

             </property>

 

           <!--配置HDFS的权限-->

          <property>

            <name>dfs.permissions</name>

            <value>false</value>

         </property>

         

     (查询服务器内部IP的命令:ip addr)

 

(3)配置core-site.xml

         <!--配置主机NameNode的主机地址-->

          <property>

             <name>fs.defaultFS</name>

             <value>hdfs://你的内部IP:9000</value>

        </property>

 

      <!--配置存放Datenode数据-->

     <property>

    <name>hadoop.tmp.dir</name>

    <value>/usr/local/hadoop/tmp</value>

    </property>

      

 

(4)配置mapred-site.xml

        <property>

        <name>mapreduce.framework.name</name>

       <value>yarn</value>

       </property>

        

 

(5)配置yarn-site.xml

        <property>

        <name>yarn.resourcemanager.hostname</name>

         <value>你的内部IP </value>

         </property>

 

         <!--配置Nodename的执行方式-->

          <property>

          <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

         </property>

         

 

 

4、格式化NameNode

    hdfs namenode –format

(注意:只需要格式化一次,若要重新格式化,先把(/usr/local/hadoop/tmp) tmp目录下的文件清空)

   

5、启动hadoop:start-all.sh

     hdfs :存储数据  

     yarn:执行程序即计算

     (关闭hadoop命令:stop-all.sh )

6. 访问:

(1)命令行jps

(2)JAVA API

(3)Web端

         HDFS:http://服务器ip:50070

         Yarn:http://服务器ip:8088

 

Jps命令:(六个节点)

 

 

格式化nodename时,出现:(把(/usr/local/hadoop/tmp) tmp目录下的文件清空,关闭hadoop(stop-all.sh),重新格式化,解决问题!!)

 

web端

Yarn:http://服务器ip:8088

 

HDFS:http://服务器ip:50070

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值