hadoop1.1.2的伪分布部署

本次学习hadoop伪分布部署采用了三个节点，每个节点装了centos操作系统。

<1>进入节点设置其ip地址，设置之后重启网卡，

执行命令service network restart

验证：执行命令ifcofig

<2>修改主机名

      （1）使用hostname查看主机名，使用hostname newname 修改当前会话的主机名

       （2）修改配置文件中的主机名，执行命令 vi  /etc/sysconfig/network

验证：重启机器

<3>把主机名和ip绑定

      执行命令 vi  /etc/hosts,增加如下内容：192.168.0.1 hadoop

    验证：ping hadoop

<4>关闭防火墙

      使用命令service iptables status 查看防火墙
      使用命令service iptables stop 关闭防火墙
       验证：serviec iptables status

 <5>关闭防火墙的自动运行
        执行命令 chkconfig iptables off
      验证：chkconfig --list |grep iptables

<6> SSH(secure shell)
      (1)执行命令 ssh-keygen -t rsa 产生秘钥，位于 ~/.ssh文件夹中
      (2)执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
      验证：ssh localhost
   <7> 安装jdk
      (2)执行命令rm -rf /usr/local/*  删除所有内容
      (1)使用winscp把jdk文件从windows复制到/usr/local目录下
      (3)执行命令 chmod u+x jdk-6u24... 赋予执行权限
      (4)执行命令 ./jdk-6u24-linux-i586.bin 解压缩
      (5)执行命令  mv jdk1.6.0_24 jdk 重命名
      (6)执行命令 vi /etc/profile 设置环境变量，增加了2行内容
       export JAVA_HOME=/usr/local/jdk
       export PATH=.:$JAVA_HOME/bin:$PATH
       保存退出
      执行命令 source /etc/profile  让设置立即生效
      验证：java -version
   <8> 安装hadoop
      (1)执行命令 tar -zxvf hadoop-1.1.2.tar.gz 进行解压
      (2)执行命令 mv hadoop-1.1.2  hadoop 重命名
      (3)执行命令 vi /etc/profile 设置环境变量，增加了1行内容  export HADOOP_HOME=/usr/local/hadoop
        修改了一行内容
        export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
     (4)执行source /etc/profiel让设置立即生效
    默认的hadoop是一种本地执行模式
，此时讲的是一种伪分布，所以要修改其配置文件
     (5) 修改hadoop的配置文件，位于$HADOOP_HOME/conf目录下。修改四个配置文件，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml，具体修改方法见PPT


1.修改hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/


2.修改core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
        <description>change your own hostname</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
</configuration>
3.修改hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>


4.修改mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
        <description>change your own hostname</description>
    </property>
</configuration>
<5>对hadoop进行格式化  hadoop namenode -format
<6>执行命令start-all.sh  启动hadoop
验证：  (1)执行命令jps,发现5个java进程，NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker
        (2)通过浏览器 http://hadoop:50070和http://hadoop:50030 查看