hadoop2.2.0的配置

1、创建一个虚拟机，这个虚拟机的联网方式是host-only模式，所以配置ip的时候要保证虚拟机与VMnet1虚拟网卡的处于同一个网段

2、修改ip之后，要重启网络 ，执行命令 service  network   restart

3、在Windows用WinSCP工具上传jdk和hadoop2.2.0到linux系统，存放在/usr/local/目录下

4、安装JDK，由于当前的jdk-6u24-linux-i586.bin没有执行权限，所以我们需要先给改文件添加执行权限

   (1) 执行命令 chmod u+x  /usr/local/jdk-6u24-linux-i586.bin

(2)执行jdk-6u24-linux-i586.bin文件

              其中jdk1.6.0_24是安装路径

（3）修改文件夹名字

        执行命令  mv  jdk1.6.0_24     jdk

（4）设置JDK的环境变量

     添加PATH和JAVA_HOME变量

    执行命令 vim /etc/profile

（5）让配置立即生效

    执行命令 source  /etc/profile

（6）验证是否配置成功

     执行命令  java -version

5、修改主机名和配置与ip相对应的域名

  （1）执行命令 vim /etc/sysconfig/network           进入修改主机名

（2）配置ip地址与域名对应

     执行命令 vim /etc/hosts

(3)验证是否配置成功

    执行命令 ping hadoop2

6、SSH免登陆认证

（1）进入 /root/.ssh 目录   执行命令  cd /root/.ssh

（2）执行命令 ssh-keygen -t rsa  在当前目录下生成密钥和公钥

（3）复制 id_rsa.pub 到 authorized_keys文件中 ，执行命令 cp id_rsa.pub  authorized_keys

（4）验证，执行命令 ssh  hadoop2

7、安装hadoop2.0.2

  (1)进入/usr/local 目录，并执行命令 tar   -zxvf   hadoop-2.2.0-64bit.tar.gz

(2)修改hadoop-2.2.0为hadoop2,执行命令 mv  hadoop-2.2.0  hadoop2

(3)配置hadoop的环境变量，比如HADOOP_HOME和PATH,执行命令 vi  /etc/profile

(4)让环境变量立即生效 ，执行命令 source  /etc/profile

(5)修改五个配置文件，它位于/usr/local/hadoop2/etc/hadoop文件夹下

            1）修改hadoop-env.sh ,主要是修改JAVA_HOME的值，执行命令 vi  /usr/local/hadoop2/etc/hadoop/hadoop-env.sh

                       

                  2）修改core-site.xml,添加以下内容

                            <configuration>

                                       <property>

                                                <!-- 指定nameNode的地址-->

                                                 <name>fs.defaultFS</name>

                                                 <value>hdfs://hadoop2:9000</value>  

                                      </property>

                                      <property>

                                                   <!-- hadoop运行时产生的文件存放的路径 -->

                                                 <name>hadoop.tmp.dir</name>

                                                 <value>/usr/local/hadoop2/tmp</value>  

                                      </property>

                            </configuration>

                               

                       3）修改hdfs-site.xml，配置数据的备份数

                      <configuration>

                               <property>

                                                             <name>dfs.replication</name>

                                                              <value>1</value>

                                            </property>

                       </configuration>

                             

                      4)重命名mapred-site.xml.template 为mapred-site.xml,并配置在YARN框架上使用MapReduce

                              <configuration>

                               <property>

                                                             <name>mapreduce.framework.name</name>

                                                              <value>yarn</value>

                                            </property>

                       </configuration>

                     

                           5)修改yarn-site.xml，配置取数据的方式

                              <configuration>

                               <property>

                                                             <name>yarn.nodemanager.aux-services</name>

                                                              <value>mapreduce_shuffle</value>

                                            </property>

                       </configuration>

                               

（6）格式化HDFS，第一次使用的时候要格式化，如何多次格式化，要先删除临时文件tmp，再重新格式化

        执行命令 hadoop namenode -format

         

    (7)启动hadoop

                 1 )先启动start-dfs.sh

                            

                        2)接着启动 start-yarn.sh

                                           

    

(8)验证是否成功                                     

      执行命令  jps

       

    如果看到上图所示的进程，则说明hadoop配置成功了