Hadoop完全分布式集群搭建

现在我们来搭建一个完全分布式的hadoop集群

首先,在虚拟机中创建三台linux6.8版本的机器,最好使用NAT连接(静态ip比较方便)

主机名分别为master、slave1、slave2…………

一、ssh免密互通和关闭防火墙

首先,在普通用户下创建本机的公钥和私钥,三台机器都需要创建

(一路回车enter)

所创建的公钥和私钥在/home/用户名/.ssh目录下

复制所创建的公钥 id_rsa.pub 为 authorized_keys :cp id_rsa.pub authorized_keys

将authorized_keys复制到slave1中的.ssh目录下:scp authorized_keys  (slave1的普通用户名)@(slave1的ip):~/.ssh

把slave1的公钥追加到authorized_keys中:cat id_rsa.pub >> authorized_keys

此时authorized_keys中有master和slave1的公钥

将slave1中的authorized_keys复制到slave2中:scp authorized_keys  (slave2的普通用户名)@(slave2的ip):~/.ssh

把slave2的公钥追加到authorized_keys中:cat id_rsa.pub >> authorized_keys

此时authorized_keys中有master、slave1和slave2的公钥

将slave2中的authorized_keys分别复制到slave1和master中并覆盖原有的authorized_keys,运行图片如下


此时,ssh免密登录已经配置完成,三台机器可以互相免密登录

可以在master中测试登录:

三台机器都需要关闭防火墙:chkconfig iptables off

(关闭后需要重启机器)

二、搭建集群

1、安装jdk和hadoop

    在主目录下(/home/用户名)创建apps目录和soft目录:mkdir apps soft

    在普通用户下导入jdk、hadoop,存放在apps中,解压即可:  tar -zxvf 文件名.tar.gz 

    进入到soft目录中,创建jdk和hadoop目录的软链接:ln -s ~/apps/jdk jdk.soft

                                                                                ln -s ~/apps/hadoop hadoop.soft

2、配置环境变量 

     进入到超级管理员下:su root 

    打开环境变量文件:vi /etc/profile

    进入后添加jdk的环境变量:

     export JAVA_HOME=/home/liyaoun/soft/jdk.soft
     export PATH=$JAVA_HOME/bin:$PATH 
     export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

    和hadoop的环境变量

   HADOOP_HOME=/home/liyaocun/soft/hadoop.soft
   export HADOOP_INSTALL=$HADOOP_HOME
   export HADOOP_MAPRED_HOME=$HADOOP_HOME
   export HADOOP_COMMON_HOME=$HADOOP_HOME
   export HADOOP_HDFS_HOME=$HADOOP_HOME
   export YARN_HOME=$HADOOP_HOME
   export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport 
   PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

    添加完成后执行配置文件:source /etc/profile

    使用java -version查看java环境是否配置成功。

  

3、修改hadoop相关配置文件

       文件所在路径:(/home/用户名/apps/hadoop/etc/hadoop/)

core-site.xml 

<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/liyaocun/apps/hadoop/tmp</value>为自己创建的tmp目录所在的绝对路径
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Master:9000</value>
    </property>
</configuration>

hadoop-env.sh
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}          此行为原有行,应注释
export JAVA_HOME=/home/liyaocun/soft/jdk.soft 路径为java_home 所在的绝对路径

hdfs-site.sh

<!-- Put site-specific property overrides in this file. -->
<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>

                <value>file:/home/liyaocun/apps/hadoop/dfs/name</value>   #自己创建的dfs目录下的name的绝对路径

                           </property>
        <property>
                <name>dfs.datanode.data.dir</name>

                <value>file:/home/liyaocun/apps/hadoop/dfs/data</value>#自己创建的dfs目录下的data的绝对路径

     </property>
</configuration>          

mapred-site.xml 

将mapred-site.xml.template 复制为 mapred-site.xml 后进行更改:cp mapred-site.xml.template mapred-site.xml

<!-- Put site-specific property overrides in this file. -->
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>

yarn-site.xml
<configuration>
        <!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
slaves
localhost        #此行删除
192.168.137.131  #slave1的ip
192.168.137.133  #slave2的ip
/etc/hosts(需要root权限)
#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.137.131 slave1
192.168.137.132 master
192.168.137.133 slave2

到此hadoop相关文件配置完成

4、设置slave1、slave2

a、将根目录下的apps复制到子节点机上

scp -r /home/liyaocun/apps liyaocun@192.168.137.131:/home/liyaocun/ 

复制apps到slave1中 -r为复制目录

scp -r /home/liyaocun/apps liyaocun@192.168.137.133:/home/liyaocun/

复制apps到slave2中 

b、分别在子节点机上创建soft目录并在soft目录下创建jdk和hadoop的软链接

        ln -s ~/apps/jdk jdk.soft
        ln -s ~/apps/hadoop hadoop.soft

c、将环境变量和hosts文件复制到子节点机(需要root权限)

        scp /etc/profile root@192.168.137.131:/etc/profile 
        scp /etc/profile root@192.168.137.133:/etc/profile 
        scp /etc/hosts root@192.168.137.131:/etc/hosts
        scp /etc/hosts root@192.168.137.133:/etc/hosts

5、格式化文件系统

在master机器上格式化文件系统

注意:一定要确保上述内容都完毕后再执行,能且仅能执行一次,否则出错

        hdfs namenode -format

6、启动hadoop集群

在master中的任意位置执行:start-all.sh(开启集群)/stop-all.sh(关闭集群)

执行后无误后如下

查看进程:jps


在物理机中的浏览器上输入:      192.168.137.132(master的ip):50070(端口号)

查看 LiveNodes 是否为 2


如果结果为2,那么恭喜你,hadoop完全分布式集群搭建成功!!!

阅读更多
换一批

没有更多推荐了,返回首页