hadoop伪分布安装配置

1.宿主机（ windows）与客户机（安装在虚拟机中的Linux）的网络连接方式

   1.1 host-only 宿主机与客户机单独组网

           好处：网络隔离

           缺点：虚拟机与其他服务器之间不能通信

    1.2 bridge    客户机与宿主机在同一个局域网内

          好处：在同一个局域网内，可以相互访问

          缺点：不安全

2. Hadoop的伪分布式安装

         【使用root用户登陆，不是sudo 到root用户】

    2.1 设置静态ip

               在centos桌面右上角的图标上，右键修改

                执行命令 service network restart 重启网卡

               验证：执行命令 ifconfig

   2.2 修改主机名

           <1> 修改当前会话中的主机名，执行命令：hostname Hadoop

           <2> 修改配置文件中的主机名，执行命令：vi /etc/sysconfig/network

                验证：重启机器

  2.3 把主机名和ip绑定起来

           执行命令 vi /etc/hosts,增加一行，内容如：192.168.1.100  hadoop(主机名)

           保存退出

            验证：ping Hadoop

    2.4 关闭防火墙

             执行命令：service iptables stop

              验证：service iptables status

    2.5 关闭防火墙的自动运行

            执行命令：chkconfig iptables off

            验证：chkconfig --list | grep iptables

    2.6 SSH(secure shell)

           <1>  执行命令 ssh-keygen -t rsa 产生秘钥，位于~/.ssh文件夹中

           <2> 执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys中

               验证：ssh localhost

     2.7 安装JDK

           <1> 执行命令 rm -rf /usr/local/*  将local目录下的东西删除

           <2> 使用工具winscp将jdk文件从windows中复制到usr/local目录下

           <3> 执行命令  chmod u+x jdk-5.....(你的jdk版本)   赋予执行权限

           <4>执行命令 ./jdk-5.....(你的jdk版本) 进行解压缩操作

           <5>执行命令 mv jdk-5...  jdk           重命名

           <6>执行命令  vi/etc/profile 设置环境变量，增加了两行内容：

                          export JAVA_HOME=/usr/local/jdk

                          export PATH=.:$JAVA_HOME/bin:$PATH

                     保存退出（wq）

                   执行命令 source /etc/profile 让该设置立即生效

               验证：java -version

     2.8 安装Hadoop

             <1> 执行命令 tar -zxvf hadoop-1.2.1.tar.gz 进行解压缩

             <2> 执行命令 mv hadoop-1.2.1.tar.gz hadoop 重命名

             <3>执行命令 vi/etc/profile 设置环境变量，增加了1行内容：

                         export HADOOP_HOME=/usr/local/hadoop

                       修改了一行内容：

                            export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

                  保存退出

                    执行命令 source /etc/profile 让设置立即生效

               <4>修改hadoop的配置文件，位于$HADOOP_HOME/conf目录下的：

                             修改4个配置文件分别为：hadoop-env.sh   core-site.xml    hdfs-site.xml   mapred-site.xml

                          具体修改内容如下：

                                          【hadoop-env.sh】的修改第9行内容如下

                                               export JAVA_HOME=/usr/local/jdk

                                         【core-site.xml】的修改内容如下：

                             <configuration>

                         <property>

                                <name>fs.default.name</name>

                                <value>hdfs://hadoop:9000</value>

                                <description>change your own hostname</description>

                          </property>

                           <property>

                                   <name>hadoop.tmp.dir</name>

                                   <value>/usr/local/hadoop/tmp</value>

                            </property>

                                  </comfiguration>

                          【hdfs-site.xml】的修改内容如下：

                                <configuration>

                                   <property>

                                       <name>dfs.replication</name>

                                       <value>1</value>

                                 </property>

                                <property>

                                         <name>dfs.permissions</name>

                                          <value>false</value>

                                 </property>

                              </configuration>

                         【mapred-site.xml】的修改内容如下：

                                     <configuration>

                                              <property>

                                                  <name>mapred.job.tracker</name>

                                                  <value>hadoop0:9001</value>//修改为你自己的主机名

                                               </property>

                                      </configuration>

                    <5>  执行命令 hadoop namenode -format对hadoop进行格式化

                    <6>  执行命令 start-all.sh启动

                         验证：(1) 执行命令jsp,发现5个java进程，分别是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker.

                                    (2) 通过浏览器 http://hadoop:50070和http://hadoop:50030查看（在Linux的浏览器查看）

                                ***********可以修改windows的c:\windows\system32\host文件

                  2.9 NameNode进程没有启动成功？

                           (1) 没有格式化

                           (2) 配置文件只拷贝，不修改

                           (3) hostname和ip没有绑定

                           (4) SSH的免密码登录没有配置成功

                    3.0 多次格式化hadoop也是错误的？

                           方法：删除/usr/local/hadoop/tmp文件夹，重新进行格式化