大数据学习笔记3：安装hadoop-1.2.1 集群

安装hadoop-1.2.1 集群

 

 

 

1、上传 解压  tar zxvf hadoop-1.2.1-bin.tar.gz

 

     在  /usr/local/src  下

     tar zxvf hadoop-1.2.1-bin.tar.gz

    cd   /hadoop-1.2.1/

    mkdir tmp

 

 

2、配置  masters、slaves

 

     cd /conf

     vi  masters   内容改为  master

     vi  slaves      内容改为 ：

                                        slave1

                                        slave2

3、修改 core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>

<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/src/hadoop-1.2.1/tmp</value>
</property>

<property>
   <name>fs.default.name</name>
   <value>hdfs://192.168.157.10:9000</value>
</property>

</configuration>

 

 

 

4、修改 mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
      <name>mapred.job.tracker</name>
      <value>http://192.168.157.10:9001</value>
</property>

</configuration>

 

 

5、修改 hdfs-site.xml

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
     <property>
          <name>dfs.replication</name>
          <value>3</value>
     </property>
</configuration>

 

 

6、修改 hadoop-env.sh

 

         设置  :export JAVA_HOME=/usr/local/src/jdk1.6.0_45

 

 

7、配置hostname

      7.1  修改 hosts文件

              vi /etc/hosts 添加：

               192.168.157.10 master

               192.168.157.11 slave1

               192.168.157.12 slave2

 

     7.2  配置hostname 

            （当前是 master节点，其他节点 使用对应 hostname值） 使hostname临时生效：hostname master

               使之永久生效： vim /etc/sysconfig/network

                                          （master节点）改为 HOSTNAME=master

 

8、Hadoop文件夹复制到 slave节点

                scp -rp hadoop-1.2.1 192.168.157.11:/usr/local/src/

                scp -rp hadoop-1.2.1 192.168.157.12:/usr/local/src/

               

9、修改slave 的hostname

                参考 7 中修改 hosts  、hostname

 

10、关闭iptables

 

         临时关闭： /etc/init.d/iptables stop

         检查状态：/etc/init.d/iptables status

        永久关闭： chkconfig --level 35 iptables off

 

11、配置 ssh无密码登录：

 

            执行：ssh-keygen 生成rsa密钥对

           cd  ~/.ssh

            ls 看到文件 ：id_rsa  id_rsa.pub

             touch  authorized_keys

             cat    id_rsa.pub > authorized_keys

 

        在每个slave节点都执行一边  ssh-keygen ，并将所有slave节点的 id_rsa.pub 内容追加到 authorized_keys

        把master  节点的 authorized_keys  复制到 slave节点上

    

        在master节点尝试登陆 slave1 slave2 ：

            ssh slave1

            ssh slave2

 

12、格式化

          cd  bin

          ./hadoop  namenode -format

 

13、启动集群

          ./start-all.sh

 

14、查看Java进程

         master节点：

[root@master bin]# jps

3505 NameNode

3664 SecondaryNameNode

4430 Jps

 

3738 JobTracker

    

       slave节点：

  [root@slave1 ~]# jps

3641 TaskTracker

3554 DataNode

4056 Jps

 

15、测试

          ./hadoop fs -ls /

         上传文件：./hadoop fs -put /etc/passwd     /

         查看文件：./hadoop fs  -ls /passwd