Hadoop完全分布式集群搭建

最新推荐文章于 2023-04-01 19:21:26 发布

置顶余生不羁尽自由

最新推荐文章于 2023-04-01 19:21:26 发布

阅读量253

点赞数 1

分类专栏： public

本文链接：https://blog.csdn.net/qq_40717759/article/details/80337442

版权

public 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

现在我们来搭建一个完全分布式的hadoop集群

首先，在虚拟机中创建三台linux6.8版本的机器，最好使用NAT连接（静态ip比较方便）

主机名分别为master、slave1、slave2…………

一、ssh免密互通和关闭防火墙

首先，在普通用户下创建本机的公钥和私钥，三台机器都需要创建

（一路回车enter）

所创建的公钥和私钥在/home/用户名/.ssh目录下

复制所创建的公钥 id_rsa.pub 为 authorized_keys ：cp id_rsa.pub authorized_keys

将authorized_keys复制到slave1中的.ssh目录下：scp authorized_keys (slave1的普通用户名)@(slave1的ip):~/.ssh

把slave1的公钥追加到authorized_keys中：cat id_rsa.pub >> authorized_keys

此时authorized_keys中有master和slave1的公钥

将slave1中的authorized_keys复制到slave2中：scp authorized_keys (slave2的普通用户名)@(slave2的ip):~/.ssh

把slave2的公钥追加到authorized_keys中：cat id_rsa.pub >> authorized_keys

此时authorized_keys中有master、slave1和slave2的公钥

将slave2中的authorized_keys分别复制到slave1和master中并覆盖原有的authorized_keys，运行图片如下

此时，ssh免密登录已经配置完成，三台机器可以互相免密登录

可以在master中测试登录：

三台机器都需要关闭防火墙：chkconfig iptables off

（关闭后需要重启机器）

二、搭建集群

1、安装jdk和hadoop

在主目录下(/home/用户名)创建apps目录和soft目录：mkdir apps soft

在普通用户下导入jdk、hadoop，存放在apps中，解压即可： tar -zxvf 文件名.tar.gz

进入到soft目录中，创建jdk和hadoop目录的软链接：ln -s ~/apps/jdk jdk.soft

ln -s ~/apps/hadoop hadoop.soft

2、配置环境变量

进入到超级管理员下：su root

打开环境变量文件：vi /etc/profile

进入后添加jdk的环境变量：

     export JAVA_HOME=/home/liyaoun/soft/jdk.soft
     export PATH=$JAVA_HOME/bin:$PATH
     export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

和hadoop的环境变量

HADOOP_HOME=/home/liyaocun/soft/hadoop.soft
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport
PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

添加完成后执行配置文件：source /etc/profile

使用java -version查看java环境是否配置成功。

3、修改hadoop相关配置文件

文件所在路径：(/home/用户名/apps/hadoop/etc/hadoop/)

core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/liyaocun/apps/hadoop/tmp</value>为自己创建的tmp目录所在的绝对路径
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
</configuration>

hadoop-env.sh

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME} 此行为原有行，应注释
export JAVA_HOME=/home/liyaocun/soft/jdk.soft 路径为java_home 所在的绝对路径

<value>file:/home/liyaocun/apps/hadoop/dfs/name</value> #自己创建的dfs目录下的name的绝对路径

</property>
<property>
<name>dfs.datanode.data.dir</name>

<value>file:/home/liyaocun/apps/hadoop/dfs/data</value>#自己创建的dfs目录下的data的绝对路径

</property>
</configuration>

mapred-site.xml

将mapred-site.xml.template 复制为 mapred-site.xml 后进行更改:cp mapred-site.xml.template mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>

yarn-site.xml

<configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

slaves

localhost #此行删除
192.168.137.131 #slave1的ip
192.168.137.133 #slave2的ip

/etc/hosts(需要root权限)

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.137.131 slave1
192.168.137.132 master
192.168.137.133 slave2

到此hadoop相关文件配置完成

4、设置slave1、slave2

a、将根目录下的apps复制到子节点机上

scp -r /home/liyaocun/apps liyaocun@192.168.137.131:/home/liyaocun/

复制apps到slave1中 -r为复制目录

scp -r /home/liyaocun/apps liyaocun@192.168.137.133:/home/liyaocun/

复制apps到slave2中

b、分别在子节点机上创建soft目录并在soft目录下创建jdk和hadoop的软链接

ln -s ~/apps/jdk jdk.soft
ln -s ~/apps/hadoop hadoop.soft

c、将环境变量和hosts文件复制到子节点机(需要root权限)

        scp /etc/profile root@192.168.137.131:/etc/profile
        scp /etc/profile root@192.168.137.133:/etc/profile
        scp /etc/hosts root@192.168.137.131:/etc/hosts
        scp /etc/hosts root@192.168.137.133:/etc/hosts