Hadoop伪分布式环境搭建

hadoop的伪分布式安装

1.1 设置ip地址

将虚拟机网络连接方式设置为桥接 设置静态IP 将IP修改为与宿主机在一个网段下
执行命令    service network restart
验证: ifconfig

1.2 关闭防火墙

执行命令    service iptables stop
验证:   service iptables status

1.3 关闭防火墙的自动运行

执行命令    chkconfig iptables off
验证: chkconfig --list | grep iptables

1.4 设置主机名

执行命令    (1)hostname hadoop
        (2)vi /etc/sysconfig/network

1.5 ip与hostname绑定

执行命令    vi /etc/hosts
验证:     ping hadoop

1.6 设置ssh免密码登陆

执行命令    (1)ssh-keygen -t rsa
        (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证： ssh hadoop

1.7 安装jdk

执行命令    (1)cd /usr/local
        (2)增加权限 chmod u+x jdk-6u24-linux-i586.bin
        (3)./jdk-6u24-linux-i586.bin
        (4)修改文件夹名称 mv jdk-1.6.0_24  jdk  
        (5)vi /etc/profile 增加内容如下:
            export JAVA_HOME=/usr/local/jdk
            export PATH=.:$JAVA_HOME/bin:$PATH
        (6)source /etc/profile
验证: java -version
        javac

1.8 安装hadoop

执行命令    (1)tar -zxvf hadoop-1.1.2.tar.gz
        (2)修改文件夹名称 mv hadoop-1.1.2 hadoop 
        (3)vi /etc/profile 增加内容如下:
        export JAVA_HOME=/usr/local/jdk
        export HADOOP_HOME=/usr/local/hadoop
        export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
        export HADOOP_HOME_WARN_SUPPRESS=1
    (4)source /etc/profile
    (5)hadoop 配置文件默认是本地模式，修改四个配置文件，
    这些文件都位于$HADOOP_HOME/conf 目录下
    分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
    第一个：hadoop-env.sh
        修改第9 行代码为 export JAVA_HOME=/usr/local/jdk/
        保存并关闭。这里设置的是JAVA_HOME，需要去掉前面的“#”注释

    第二个： hadoop核心配置文件core-site.xml 修改如下
      <configuration>
         <property>
             <name>fs.default.name</name>
             <value>hdfs://hadoop:9000</value>
             <description>change your own hostname</description>
         </property>
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/usr/local/hadoop/tmp</value>
         </property>  
      </configuration>

     第三个：hdfs-site.xml
      <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.permissions</name>
             <value>false</value>
         </property>
      </configuration>

     第四个：mapred-site.xml
       <configuration>
          <property>
              <name>mapred.job.tracker</name>
              <value>hadoop:9001</value>
              <description>change your own hostname</description>
          </property>
       </configuration>
    (6)格式化 hadoop namenode -format
    (7)hadoop任务启动start-all.sh

验证:(1)执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
    (2)在浏览器查看，http://hadoop:50070  http://hadoop:50030  

1.9 启动时没有NameNode的可能原因:

(1)没有格式化
(2)环境变量设置错误
(3)ip与hostname绑定失败