linux虚拟机下Hadoop集群分布式配置

         最近在搞hadoop，然后想在虚拟机下部署hadoop集群。搞了半天，有点小成果，就记下来。

         首先我们需要在官网下载hadoop http://hadoop.apache.org/ 我下载的是hadoop1.2.1  下载完使用SSH Secure File Transfer Client 上传到虚拟机中去  在集群中我使用了三个虚拟机，分别都上传上去/opt/

         检查jdk环境是否安装好，前面已经有介绍 jdk的安装方法

         #cd  /opt/    --进人到hadoop的压缩文件目录

         #tar -zxvf hadoop-1.2.1.tar.gz ---解压缩

         #ln -sf /opt/hadoop-1.2.1 /home/hadoop-1.2  --在home下创建hadoop-1.2.1的软链接

        #vi /etc/profile  --修改配置文件增加hadoop的环境变量 修改如下面2行 wq保存

         export HADOOP_HOME=/opt/hadoop-1.2.1

         export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:

        #source  /etc/profile --是配置文件生效

        # cd

         #hadoop  验证hadoop环境变量是否配置好（成功了执行下一步）

         #cd /home/hadoop-1.2/config   --对hadoop的配置文件的配置

         #  vi core-site.xml    --配置如下

            <?xml version="1.0"?>
            <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

           <!-- Put site-specific property overrides in this file. -->

            <configuration>
                 <property>
                    <name>hadoop.tmp.dir</name>
                     <value>/hadoop</value>
                </property>
                <property>
                    <name>dfs.name.dir</name>
                     <value>/hadoop/name</value>
                  </property>
                 <property>
                     <name>fs.default.name</name>
                     <value>hdfs://xiaojun:9000</value>   --填写namenode的的主机ip
                 </property>
            </configuration>

         # vi  hdfs-site.xml   --配置如下

               
         <?xml version="1.0"?>
         <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

          <!-- Put site-specific property overrides in this file. -->

          <configuration>
         <property>
              <name>dfs.data.dir</name>
              <value>/hadoop/data</value>
          </property>
         <property>
              <name>dfs.replication</name>    --配置block的副本数
              <value>2</value>
         </property>

         </configuration>
~     # vi hadoop-env.sh  --修改hadoop  中jdk的环境

            export JAVA_HOME=/usr/java/jdk1.7.0_79

        # vi slaves  --配置datanode 的主机ip   这里设置了2个 分别输入其他2个虚拟机的IP

        # vi  masters  --配置SecondNameNode --为了方便我取上面配置的一个虚拟机ip

         #ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa     --配置免密码登陆  --产生密钥

         #cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  --将公共密钥放到本地的authororized_keys  ssh localhost 可以免登陆 没台都需要

        # cd .ssh/

        # scp id_dsa.pub  root@168.192.3.3:~             --将namenode的公钥复制到其他的2个datanode主机中。再复制到~/.ssh/authorized_keys

        然后就是保持3台虚拟机的hadoop上面的配置都一样 进入NameNode  hadoop的配置文件目录  scp ./*  root@168.192.3.3：/home/hadoop-1.2/conf

       #cd /home/hadoop-1.2/bin

       #./hadoop namenode -fromate   --初始化namenode

       #service iptables stop  关门防火墙

       #./start-dfs.sh  --开启验证 都成功的话，配置完成