Spark 完全分布式集群搭建过程及启动过程

最新推荐文章于 2024-04-18 18:49:13 发布

临世驻年

最新推荐文章于 2024-04-18 18:49:13 发布

阅读量780

点赞数 2

分类专栏：配置部署文章标签： hadoop 大数据 centos 分布式 spark

本文链接：https://blog.csdn.net/MasterPick/article/details/107188080

版权

配置部署专栏收录该内容

6 篇文章 0 订阅

订阅专栏

声明

1）该文章整理自网上的大牛和专家无私奉献的资料，具体引用的资料请看参考文献。
2）本文仅供学术交流，非商用。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。
3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。
4）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦。

一：实验环境

1.1 服务器上启动三台虚拟机
root@master  11.24.24.111  master
root@slave1  11.24.24.112  slave1
root@slave2  11.24.24.113   slave2


1.2 软件版本：
hadoop-2.7.6 + spark-3.0.0 + Scala2.13.2

修改主机名和hosts
1.1 更改主机名
root@master:~$ sudo vim /etc/hostname
改成master //其他两个分别改为slave1 和slave2
注意：主机名全部以小写字母开头，后文在配置环境时注意不要误用大写！

1.2 修改hosts
root@master:~# sudo vim /etc/hosts
修改hosts  需要将注释的所有127.0.0.1以及locahost 取消注释！！！！不然子节点无法启动
//将原文件（127.0.0.0 localhost）下面添加以下信息：
11.24.24.111  master
11.24.24.112  slave1
11.24.24.113   slave2

//退出后重启虚拟机
root@master:~# sudo reboot

//分别对集群中的所有节点进行以上相似的设置

二：安装基础环境（Java和scala）

对所有节点安装java和scala

2.1 Java环境搭建
1）下载jdk-1.8并解压到 /usr/local

root@master:~$ sudo tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/

2）添加java环境变量，在/etc/profile中添加：

root@master:~$ sudo vim /etc/profile

export JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH

3）保存后刷新配置
[root@master ~]# source /etc/profile

4）使用java -version命令确认
[root@master ~]# java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)


2.2 scala环境搭建
1）下载scala安装包scala2.13.2.tgz安装到 /usr/local/

root@master:~$ sudo tar -zxvf scala2.13.2.tgz -C /usr/local/
root@master:~$ mv scala2.13.2  scala
2）添加Scala环境变量，在/etc/profile中添加：

root@master:~# sudo vim /etc/profile

export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH

3)保存后刷新
root@master:~# source /etc/profile

4）使用scala -version命令确认
[root@master ~]# scala -version

Scala code runner version 2.13.2 -- Copyright 2002-2020, LAMP/EPFL and Lightbend, Inc.

三：ssh无密码验证配置

-对所有节点安装ssh
root@master:~$ sudo yum install ssh

3.1 配置master无密码登录所有slave
以下是在master节点上执行以下命令：
1）在master节点上生成密码对
ubuntu@master:~$ ssh-keygen -t rsa -P ''

// Enter 继续
//生成的密钥对：id_rsa和id_rsa.pub存储在” ~/.ssh”目录下(注意可能会不同)

2）把id_rsa.pub追加到授权的key里面去
root@master:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3）修改ssh配置文件”/etc/ssh/sshd_config”的下列内容
root@master:~$ sudo vim /etc/ssh/sshd_config

追加以下内容：
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile  %h/.ssh/authorized_keys


4) 重启ssh服务，才能使刚才设置有效
root@master:~$ shutdown -r now

5) 验证无密码登录本机是否成功。
root@master:~$ ssh master

注意：无密码登录成功后，使用Ctrl+D退出当前登录，防止嵌套登录

6）把公钥复制到所有的Slave机器上
root@master:~$ scp ~/.ssh/id_rsa.pub root@slave1:~/  #注意不能有空格
root@master:~$ scp ~/.ssh/id_rsa.pub root@slave2:~/  #注意直接放在主目录下 

可以到slave节点的机器中看一下 ~/.ssh/ 是否多处了一个内容id_rsa.pub

-以下是在slave1 (11.24.24.112)节点的配置操作
1）将Master的公钥追加到Slave1的授权文件”authorized_keys”中去。
root@slave1:~ $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

2) 修改”/etc/ssh/sshd_config”，具体步骤参考前面Master设置的第3步和第4步。
root@slave1:~/.ssh$ sudo vim /etc/ssh/sshd_config

3）用master使用ssh无密码登录slave1
root@master:~$ ssh 11.24.24.112    或者是 ssh root@slave1

4）把slave节点中的” ~/”目录下的”id_rsa.pub”文件删除掉。
root@slave1:~/.ssh$ rm -r ~/id_rsa.pub　　
重复上面的4个步骤把Slave2服务器进行相同的配置


3.2 配置slave无密码登录master
-以下是在slave1节点(11.24.24.112)的配置操作。
// 1）创建”Slave1”自己的公钥和私钥，并把自己的公钥追加到”authorized_keys”文件中，执行下面命令：

root@slave1:~/.ssh$ ssh-keygen -t rsa -P ''
root@slave1:~/.ssh$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys　　

2）将slave1节点的公钥”id_rsa.pub”复制到Master节点的”/root/”目录下。

root@slave1:~/.ssh$ scp ~/.ssh/id_rsa.pub root@master:~/　　　　

以下是在master节点的配置操作
1）将Slave1的公钥追加到Master的授权文件”authorized_keys”中去。

root@slave1:~ $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 　　

2）删除Slave1复制过来的”id_rsa.pub”文件。

root@slave1:~ $ rm -r ~/id_rsa.pub 　　

// 配置完成后测试从Slave1到Master无密码登录。

root@slave1:~ $ ssh 11.24.24.111

按照上面的步骤把Slave2和Master之间建立起无密码登录。
- 这样，Master能无密码验证登录每个Slave，每个Slave也能无密码验证登录到Master。

四：Hadoop 完全分布式搭建

-以下是在master节点上的操作
1）下载hadoop 并解压到/opt/
root@master:~$ sudo tar -zxvf hadoop.tar.gz -C /opt/　　

2)修改配置文件，添加以下内容
root@master:~$ sudo vim /etc/profile　　

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

修改完成后执行：
root@master:~$ source /etc/profile

[root@master hadoop]# mkdir data
[root@master hadoop]# mkdir tmp
[root@master hadoop]# mkdir name

3）修改hadoop的相关配置
修改JAVA_HOME 如下：
root@master:/opt/hadoop $ sudo vim ./etc/hadoop/hadoop-env.sh

 export JAVA_HOME=/usr/local/java
 
 修改$HADOOP_HOME/etc/hadoop/slaves，将原来的localhost删除，改成如下内容：
 root@master:/opt/hadoop$ sudo vim ./etc/hadoop/slaves
 
 slave1
 slave2
 
 修改$HADOOP_HOME/etc/hadoop/core-site.xml
 root@master:/opt/hadoop$ sudo vim ./etc/hadoop/core-site.xml
 
 <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
      <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
     </property>
     <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/hadoop/tmp</value>
     </property>
</configuration>

修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
root@master:/opt/hadoop$ sudo vim ./etc/hadoop/hdfs-site.xml
<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/opt/hadoop/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/opt/hadoop/hdfs/data</value>
    </property>
</configuration>

复制template，生成xml，命令如下：
root@master:/opt/hadoop/etc/hadoop$ cp mapred-site.xml.template mapred-site.xml

修改$HADOOP_HOME/etc/hadoop/mapred-site.xml
root@master:/opt/hadoop/etc/hadoop$ sudo vim mapred-site.xml

<configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>master:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>master:19888</value>
  </property>
</configuration>

修改$HADOOP_HOME/etc/hadoop/yarn-site.xml
root@master:/opt/hadoop/etc/hadoop$ sudo vim yarn-site.xml

<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>master:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>master:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>master:8088</value>
     </property>
</configuration>

4）复制master节点的hadoop文件夹到slave1和slave2上
scp -r /opt/hadoop root@slave1:/opt

5）在Slave1和Slave2上分别修改/etc/profile，(hadoop的配置信息) 过程同master一样
格式化HDFS [只有首次部署才可使用]【谨慎操作，只在master上操作】
root@master:~$ hadoop namenode -format

启动集群 【只在master上操作】
root@master:~$ /opt/hadoop/sbin/start-all.sh

6）查看三台集群是否启动成功： jps
[root@master sbin]# jps
24673 NodeManager
30547 Jps
21081 NameNode
24331 ResourceManager
23180 SecondaryNameNode
22015 DataNode

[root@slave1 ~]# jps
8323 NodeManager
8759 Jps
8092 DataNode

[root@slave2 ~]# jps
6677 Jps
6266 DataNode
6414 NodeManager

SecondaryNameNode是NameNode的备份，本文将其都配置master节点上。（一般是配置在不同的节点上，以助于主节点挂掉的时候对它恢复）
slave1和slave2都仅作为计算节点（DataNode）
-至此hadoop的完全分布式环境搭建成功。

7)web端11.24.24.111:8088查看

五：Spark 2.1.0完全分布式环境搭建

-以下操作都是在master节点进行
1）下载二进制包spark-3.0.0-bin-hadoop2.7.tgz
2）解压到相应目录
root@master:~$ tar -zxvf spark-3.0.0-bin-hadoop2.7.tgz -C /opt
root@master:~$ mv /opt/spark-3.0.0-bin-hadoop2.7.tgz /opt/spark

3）修改相应的配置文件
修改/etc/profie，增加如下内容：

root@master:/opt$ sudo vim /etc/profile

export SPARK_HOME=/opt/spark/
export PATH=$PATH:$SPARK_HOME/bin

复制spark-env.sh.template成spark-env.sh

root@master:/opt/spark/conf$ sudo cp spark-env.sh.template spark-env.sh

修改$SPARK_HOME/conf/spark-env.sh，添加如下内容.（标注需要改为自己的版本）

root@master:/opt/spark-2.1/conf$ sudo vim spark-env.sh

export JAVA_HOME=/usr/local/java
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
export SPARK_MASTER_IP=11.24.24.111
export SPARK_MASTER_HOST=11.24.24.111
#export SPARK_LOCAL_IP=11.24.24.112
#export SPARK_LOCAL_IP=11.24.24.113
export SPARK_LOCAL_IP=0.0.0.0
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/opt/spark
export SPARK_DIST_CLASSPATH=$(/opt/hadoop/bin/hadoop classpath)

复制slaves.template成slaves
root@master:/opt/spark/conf$ sudo cp slaves.template slaves

修改$SPARK_HOME/conf/slaves，在原来的localhost下面改为如下内容：
root@master:/opt/spark/conf$ sudo vim slaves

master
slave1
slave2
（注意，如果不删除之前的localhost，spark搭建完成之后，会出现多个worker）

4）将配置好的spark文件复制到slave1和slave2节点
root@master:/opt$ scp -r /opt/spark root@slave1:~   //拷贝整个目录
root@master:/opt$ scp -r /opt/spark root@slave2:~
root@slave1:~$ sudo mv spark/ /opt
root@slave2:~$ sudo mv spark/ /opt

5）修改slave1和slave2配置。
root@slave1:~$ sudo vim /etc/profile

在slave1和slave2上分别修改/etc/profile，增加Spark的配置，过程同master一样。
export SPARK_HOME=/opt/spark/
export PATH=$PATH:$SPARK_HOME/bin

在save1和save2修改$SPARK_HOME/conf/spark-env.sh
root@master: $ sudo vim /opt/spark-2.1/conf/spark-env.sh

将export SPARK_LOCAL_IP=192.168.110.XXX改成slave1和slave2对应节点的IP

6) 在Master节点启动集群
先启动hadoop，在启动spark

root@master:/opt$ /opt/hadoop/sbin/start-all.sh
root@master:/opt$ /opt/spark/sbin/start-all.sh

7）查看集群是否启动成功：jps

六：引用资料

https://blog.csdn.net/Ashely_Xie/article/details/78608097
https://blog.csdn.net/u014636511/article/details/80171002

临世驻年

关注

2
点赞
踩
7

收藏

觉得还不错? 一键收藏
1
评论
Spark 完全分布式集群搭建过程及启动过程

声明1）该文章整理自网上的大牛和专家无私奉献的资料，具体引用的资料请看参考文献。2）本文仅供学术交流，非商用。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。4）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦。一：实验环境1.1 服务器上启动三台虚拟机root@master 11.24.24.111 masterroot@slave1 11.24.
复制链接

扫一扫