Hadoop-2.8.0安装教程---单机/伪分布式配置

1、安装环境：

• 硬件：VMware虚拟机
• 操作系统：Centos 7 64位
• IP:192.168.1.134
• 主机名：bogon
• 安装用户：hzq
• Java环境：jdk-8u131-linux-x64.tar.gz（具体安装步骤见：《Linux安装JDK步骤》）

2、配置免密码登录见：《Linux之ssh免密登录》

3、安装hadoop-2.8.0

       ①、下载hadoop-2.8.0

        下载地址：http://apache.fayea.com/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

       ②、创建安装目录及数据存储目录，安装位置“/home/hzq/hadoop”

       mkdir /home/hzq/hadoop
       mkdir /home/hzq/hadoop/data

       ③、解压“hadoop-2.8.0.tar.gz”到“/home/hzq/hadoop”文件中：

       tar -zxvf hadoop-2.8.0.tar.gz  -C /home/hzq/hadoop/

       ④、配置“/etc/profile”文件，添加如下代码：

       HADOOP_HOME=/home/hzq/hadoop/hadoop-2.8.0
       PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
       export  PATH HADOOP_HOME

       如图：

                                          

       配置完成后保存，使用下面命令使配置文件生效：

       source /etc/profile

       ⑤、配置hadoop

       进入/home/hzq/hadoop/hadoop-2.8.0/etc/hadoop目录，修改如下文件：

• 配置：hadoop-env.sh
  

      # The java implementation to use.
      #export JAVA_HOME=${JAVA_HOME}
      export JAVA_HOME=/home/hzq/software/jdk1.8.0_131

• 配置：core-site.xml 

       <configuration>
               <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
               <property>
                       <name>fs.defaultFS</name>
                       <value>hdfs://logon:9000</value>
               </property>
               <!-- 指定hadoop运行时产生文件的存储目录 -->
               <property>
                       <name>hadoop.tmp.dir</name>
                       <value>/home/hzq/hadoop/data</value>
                </property>
       </configuration>

• 配置：hdfs-site.xml

       <configuration>
               <!-- 指定HDFS副本的数量 -->
               <property>
                       <name>dfs.replication</name>
                       <value>1</value>
               </property>
       </configuration>

• 配置：“mapred-site.xml“文件，但是我们发现没有这个文件，有一个“mapred-site.xml.template”文件，我们将其修改成“mapred-site.xml”文件，进行配置。

       <configuration>
               <!-- 指定mr运行在yarn上 -->
               <property>
                       <name>mapreduce.framework.name</name>
                       <value>yarn</value>
               </property>

       </configuration>

• 配置：yarn-site.xml

       <configuration>
           <!-- Site specific YARN configuration properties -->
           <!-- 指定YARN的老大（ResourceManager）的地址 -->
           <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>bogon</value>
           </property>
                       <!-- reducer获取数据的方式 -->
           <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
            </property>
       </configuration>

4、启动hadoop

       ①、格式化namenode

       hadoop namenode -format

        如图：表示成功

        
       ②、启动NameNode和DataNode守护进程

       start-dfs.sh 

       使用“jps”查看是否启动完成：

         

       ③、启动“yarn”：

       start-yarn.sh 

       使用“jps”查看是否启动完成：

         

5、验证是否启动成功

      使用“jps”命令验证：

                                      

         http://192.168.1.134:50070 （HDFS管理界面）
         http://192.168.1.134:8088 （MR管理界面）

总结：初学hadoop，望路过大神不喜勿喷！！！