hadoop集群的搭建,ubuntu系统

1.先安装对应的ubuntu系统
2.根据你个人电脑的实际情况克隆若干台机器
3.修改克隆机的主机名
    修改 /etc/hostname
4.将所有虚拟机的的IP改为静态IP
    步骤:1.先用ifconfig查看一下当前虚拟机使用的虚拟网卡(eth0,enp0s25,ens33等)
         2.修改  /etc/network/interfaces(内容如下)
            auto eth0(虚拟网卡名称)
            iface eth0 inet static
            address 192.168.136(网段).51
            netmask 255.255.255.0
            gateway 192.168.136(网段).2
            dns-nameserver 119.29.29.29
            解释:1.虚拟网卡名称:ifconfig查看
                 2.网段:编辑-虚拟网络编辑器-VMnet8(NET)可以查看到(本人VMWare虚拟机)
          3.重启网卡(本人用root账户)
            /etc/init.d/networking restart
5.安装ssh(远程工具 或 scp 等都是基于ssh基础之上的,通信双方都是要安装ssh)
    1.apt-get    update
    2.apt-get    install ssh
6.配置免密码登入
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    通过scp将公钥文件拷贝到其他机器
    scp .ssh/id_rsa.pub root@ubuntu04:/root
    在对应的主机的root下创建.ssh文件
    mkdir .ssh/
    将公钥拷贝到授权文件并修改文件的权限
    cat id_rsa.pub >> .ssh/authorized_keys
    chmod 600 .ssh/authorized_keys

7.添加主机映射文件(将后面几行IPv6的配置删除)
    nano /etc/hosts
    127.0.0.1       localhost
    127.0.1.1       ubuntu
    #ip               hostname
    192.168.136.51 ubuntu01
    192.168.136.52 ubuntu02
    192.168.136.53 ubuntu03
    192.168.136.54 ubuntu04
    
8.通过scp将主机映射文件/etc/hosts拷贝到其他的主机上
    格式:scp /etc/hosts 用户名@主机名:/etc/hosts
    scp /etc/hosts root@ubuntu02:/etc/hosts
    
9.修改Hadoop的配置文件,配置文件目录在Hadoop的安装目录下的/etc/hadoop
    1:配置JAVA_HOME
        将hadoop-env.sh下的 JAVA_HOME改为你的jdk的安装路径
    2.修改core-site.xml
        <configuration>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ubuntu01(namenode节点z主机名)/</value>
            </property>
        </configuration>
    3.修改 hdfs-site.xml(文件的副本数,namenode 和 secondarynamenode配置)
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>2</value>
            </property>
            <property>
                <name>dfs.http.address</name>
                <value>ubuntu01:50070</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>ubuntu02:50090</value>
        </property>

       <property>(创建name节点的数据存放位置,如果没有后面namenode就会启动不了因为它存放的临时文件会被删除)
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoopdata/name</value>
        </property>
 
        <property>(数据节点存放数据位置)
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoopdata/data</value>
        </property>   
        </configuration>
    4.<修改 mapred-site.xml(调度平台设置)
        <configuration>
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
        </configuration>
    5.yarn-site.xml (yarn的设置)
        <configuration>
            <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>ubuntu01</value>
            </property>
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
        </configuration>

       6.修改slaves(将对应的数据节点添加上到文件里)

       ubuntu03

       ubuntu04

10.将jdk , hadoop , 以及/etc/profile通过scp拷贝到其他的节点上
11.在其他的节点上执行  source /etc/profile 并通过java -version 看看jdk是否生效
12.在主节点执行 start-all.sh(这个命令现在官方不建议使用了)
13.通过jps查看对应节点的进程
    ubuntu01(namenode)
        4354 Jps
        4039 ResourceManager
        3791 NameNode
    ubuntu02(secondarynamenode)
        3031 Jps
        2908 SecondaryNameNode
    ubuntu03(datanode)
        3335 Jps
        3101 DataNode
        3198 NodeManager
    ubuntu04(datanode)
        3010 DataNode
        3107 NodeManager
        3243 Jps

其他版本的安装也是类似的