hadoop实践（二）-hadoop和ssh配置

系统环境准备好后，还需要进行配置和hadoop软件的下载安装。

1、 ssh配置

这里的ssh配置是指ssh 配置无密钥登录，原因是因为hadoop集群环境下，有大量节点机器，所以配置无密钥登录。

计划：  master 192.168.136.140 ， slave1  192.168.136.151， slave2  192.168.136.152

   1.1： 系统主机和主机名配置

     修改系统的主机名，比如本人实践的主机，设置为master.hadoop

      需要修改2个文件,  修改操作使用 root用户

     /etc/sysconfig/network
     里面有一行 HOSTNAME=localhost.localdomain (如果是默认的话），修改 localhost.localdomain 为你的主机名：master.hadoop。

     /etc/hosts
    打开该文件，会有一行 127.0.0.1 localhost.localdomain localhost 。其中 127.0.0.1 是本地环路地址， localhost.localdomain 是主机名(hostname)。

    localhost 是主机名的别名（alias），它会出现在Konsole的提示符下。

    在最后添加：

    192.168.136.140  master.hadoop

    其中192.168.136.140 是自己本机的ip。

    

    将上面两个文件修改完后，并不能立刻生效。在命令行执行reboot命令后，重新登录，重启系统会得到新的主机名。

   重新登陆后，在终端命令行执行：

   hostname

   会显示当前的主机名。

  

   1.2 配置ssh 无密钥登录

    首先：修改系统配置

        用root权限登录： vi  /etc/ssh/sshd_config
        找到以下内容，并去掉注释符”#“
　　 RSAAuthentication yes
　 　PubkeyAuthentication yes
　 　AuthorizedKeysFile      .ssh/authorized_keys
　    保存退出。 重要的是进行服务重启

        service sshd restart

      

      其次：设置密钥文件，以下操作为hadoop用户

         

               1） 先确定有.ssh目录，该目录为隐藏目录：  ls -a /home/hadoop

                      如果现实.ssh目录则表示已经装过ssh，否则要先安装ssh

               2） 生成密钥

                      ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

                       ssh-keygen：生成密钥命令

                      -t  dsa  ： 生成密钥的类型是dsa

                      -P ：  ‘’表示空

                     -f： 表示密钥文件

               3）追加密钥到key中

                     cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

               4） 验证：命令行执行命令：ssh  master.hadoop

                    [hadoop@master ~]$ ssh  master.hadoop
                    Last login: Sun Jun 12 06:45:38 2016 from master.hadoop

                    出现上面提示表示成功

         最后： 设置另外2台机器的ssh。

                   设置好后，分别在本机的authorized_keys里添加其它两台机器的密钥。

                    举例： 将salve1的密钥添加到 master去

                    在salve1上，执行下面命令， 

                   cat ~/.ssh/id_dsa.pub | ssh hadoop@master.hadoop 'cat - >> ~/.ssh/authorized_keys'

                   这句话的意思，cat本地的  id_dsa.pub 通过管道方式，ssh到master ，并追加到       authorized_keys     

 

2、 hadoop下载和安装

       hadoop下载：

       登录官网：http://hadoop.apache.org/

       点击左边的  Download Hadoop

   从打开的新网页的releases进入下载版本

    我选择的是 binary的hadoop-2.6.4.tar版本。

    上传到master.hadoop机器的 /opt/hadoop 目录下，解压。 gz 文件用 gzip解压，然后再用tar -vxf xxx.tar 来解压。

    解压后，需要修改目录权限

    root用户下： chown -R hadoop:hadoop /opt/hadoop