hadoop的安装配置与测试

Hadoop的安装（以下操作均在root用户下）

1.配置客户机的静态IP

        要求：IP网段 | 网关 | 子网掩码

        1查看网关

               vmware==>编辑菜单==>虚拟网络编辑器==>打开窗口==>选中vmnet8虚拟网卡==>nat设置==>查看网关

        2查看可用的IP网段

              vmware==>编辑菜单==>虚拟网络编辑器==>打开窗口==>选中vmnet8虚拟网卡==>DHCP设置==>查看网段

        3挑选可用的IP

        4配置主机的静态IP

    

2.安装jdk，配置环境变量

         $>vim /etc/hosts

         JAVA_HOME

         PATH

3.解压hadoop-2.4.1.tar.gz

         tar hadoop-2.4.1.tar.gz

4.配置环境变量

         $>vim /etc/hosts

         HADOOP_HOME

         PATH

5.配置hadoop

        1.standalone | local   //独立模式

               a. 没有守护进程，所有的程序运行在同一JVM中，利于test和debug

               b.查看文件系统

               $> hadoop fs –ls /  <=>  $> hadoop fs –ls hdfs://localhost/     //查看的就是本地文件系统

       2.pseudo distributedmode   //伪分布模式

              [配置文件${HADOOP_HOME}/etc/Hadoop/*-site.xml]

 

             core-site.xml

                  <configuration>

                       <property>

                           <name>fs.defaultFS</name>

                           <value>hdfs://localhost/</value>

                       </property>

                  </configuration>

 

 

             hdfs-site.xml

                  <configuration>

                      <property>

                            <name>dfs.replication</name>

                            <value>1</value>      //设置副本数量

                     </property>

                  </configuration>

 

            mared-site.xml

                   <configuration>

                        <property>

                            <name>mapreduce.framework.name</name>

                            <value>yarn</value>

                       </property>

                    </configuration>

 

              yarn-site.xml

                     <configuration>

                            <property>

                                 <name>yarn.resourcemanager.hostname</name>

                                 <value>localhost</value>

                           </property>

                           <property>

                                 <name>yarn.nodemanager.aux-services</name>

                                 <value>mapreduce_shuffle</value>

                           </property>

                      </configuration>

 

             [配置SSH]

                     1.安装ssh软件

                          $>sudo apt-get install ssh   //安装服务端（sshd）和客户端（ssh）以及相关软件

                     2.生成密钥对

                         $>ssh-keygen  -t  rsa -P  ‘ ’  -f ~/.ssh/id_rsa

                     3.追加公钥到对方的认证库中

                         $>cat  id_rsa.put  >> ~/.ssh/authorized_keys

                     4.测试ssh到localhost

                         $>ssh  localhost

 

              [格式化hdfs文件系统]

 

                       hdfs  namenode –format    //hadoop/bin/hdfs

 

               启动和停止hdfs和yarn守护进程    //hadoop/sbin

                      启动

                           $>start-dfs.sh

                           $>start-yarn.sh

                      停止

                           $>stop-dfs.sh

                           $>stop-yarn.sh

 

                <