Hadoop 完全分布式

   

修改主机名
-------------------
    1./etc/hostname
        s201
    2./etc/hosts
        127.0.0.1 localhost

##：下面ip地址为分机ip
        192.168.231.201 s201    
        192.168.231.202 s202
        192.168.231.203 s203
        192.168.231.204 s204      

1.克隆3台client(centos7)
        右键centos-7-->管理->克隆-> ... -> 完整克隆
    2.启动client
    3.启用客户机共享文件夹。
    4.修改hostname和ip地址文件        

[/etc/hostname]
        s202

        [/etc/sysconfig/network-scripts/ifcfg-ethxxxx]
        ...
        IPADDR=..

    5.重启网络服务        

$>sudo service network restart

      6.修改/etc/resolv.conf文件        

nameserver 192.168.231.2

      7.重复以上3 ~ 6过程.
        

准备完全分布式主机的ssh
-------------------------
    1.删除所有主机上的/home/centos/.ssh/*

    2.在s201主机上生成密钥对        

$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

    3.将s201的公钥文件id_rsa.pub远程复制到202 ~ 204主机上。
      并放置/home/centos/.ssh/authorized_keys      

  $>scp id_rsa.pub centos@s201:/home/centos/.ssh/authorized_keys
  $>scp id_rsa.pub centos@s202:/home/centos/.ssh/authorized_keys
  $>scp id_rsa.pub centos@s203:/home/centos/.ssh/authorized_keys
  $>scp id_rsa.pub centos@s204:/home/centos/.ssh/authorized_keys

  对root用户创建ssh 免密登录：

在s201主机上

su root   ##切换到root用户

在/root/目录下，生成密匙对

$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

将s201的公钥文件id_rsa.pub远程复制到202 ~ 204主机上。
      并放置/root/.ssh/authorized_keys 

scp id_rsa.pub root@s201:/root/.ssh/authorized_keys
scp id_rsa.pub root@s202:/root/.ssh/authorized_keys
scp id_rsa.pub root@s203:/root/.ssh/authorized_keys
scp id_rsa.pub root@s204:/root/.ssh/authorized_keys
scp id_rsa.pub root@s205:/root/.ssh/authorized_keys

4.配置完全分布式(${hadoop_home}/etc/hadoop/)
      

 [core-site.xml]
        <?xml version="1.0" encoding="UTF-8"?>
        <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
        <configuration>
                <property>
                        <name>fs.defaultFS</name>
                        <value>hdfs://s201:8020/</value>
                </property>
        </configuration>

        [hdfs-site.xml]
        <?xml version="1.0" encoding="UTF-8"?>
        <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
        <configuration>
                <property>
                        <name>dfs.replication</name>
                        <value>3</value>
                </property>
        </configuration>

 [yarn-site.xml]
        <?xml version="1.0"?>
        <configuration>
                <property>
                        <name>yarn.resourcemanager.hostname</name>
                        <value>s201</value>
                </property>
                <property>
                        <name>yarn.nodemanager.aux-services</name>
                        <value>mapreduce_shuffle</value>
                </property>
        </configuration>
 [slaves]
        s202
        s203
        s204

scp slaves admin@s137:/soft/hadoop/etc/hadoop/
        [hadoop-env.sh]
        ...
        export JAVA_HOME=/soft/jdk
        ...
scp hadoop-env.sh  admin@s138:/soft/hadoop/etc/hadoop/

    5.分发配置

        $>cd /soft/hadoop/etc/
        $>scp -r full centos@s202:/soft/hadoop/etc/
        $>scp -r full centos@s203:/soft/hadoop/etc/
        $>scp -r full centos@s204:/soft/hadoop/etc/

    6.删除符号连接

        $>cd /soft/hadoop/etc
        $>rm hadoop
        $>ssh s202 rm /soft/hadoop/etc/hadoop
        $>ssh s203 rm /soft/hadoop/etc/hadoop
        $>ssh s204 rm /soft/hadoop/etc/hadoop

    7.创建符号连接        

        $>cd /soft/hadoop/etc/
        $>ln -s full hadoop
        $>ssh s202 ln -s /soft/hadoop/etc/full /soft/hadoop/etc/hadoop
        $>ssh s203 ln -s /soft/hadoop/etc/full /soft/hadoop/etc/hadoop
        $>ssh s204 ln -s /soft/hadoop/etc/full /soft/hadoop/etc/hadoop

    8.删除临时目录文件

        $>cd /tmp
        $>rm -rf hadoop-centos
        $>ssh s202 rm -rf /tmp/hadoop-centos
        $>ssh s203 rm -rf /tmp/hadoop-centos
        $>ssh s204 rm -rf /tmp/hadoop-centos

    9.删除hadoop日志        

        $>cd /soft/hadoop/logs
        $>rm -rf *
        $>ssh s202 rm -rf /soft/hadoop/logs/*
        $>ssh s203 rm -rf /soft/hadoop/logs/*
        $>ssh s204 rm -rf /soft/hadoop/logs/*

    10.格式化文件系统       

 $>hadoop namenode -format

  11.启动hadoop进程        

$>start-all.sh

注：

ssh s201 jps 
bash: jps: 未找到命令
解决办法：去到 s201主机，在/usr/local/bin 目录下创建jps连接
sudo ln -s /soft/jdk/bin/jps  jps
即可访问

单独配置2nn到独立节点（在主节点的配置文件hdfs-site.xml添加）
-------------------------
    [hdfs-site.xml]
    <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>s206:50090</value>
    </property>