Spark3.2.0集群搭建

已于 2022-11-28 17:26:00 修改
阅读量1.4k 收藏 4
点赞数 1
分类专栏： 大数据 spark 文章标签： scala spark 大数据
于 2022-11-28 17:23:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42263032/article/details/128079995
版权

一、部署规划

部署节点部署内容节点 IP
spark1scala-2.12.2、spark-3.2.010.52.1.1
spark2scala-2.12.2、spark-3.2.010.52.1.2
spark3scala-2.12.2、spark-3.2.010.52.1.3

二、安装前的准备：

1、关闭Selinux、防火墙和THP，三台服务器都要操作一次

关闭防火墙
systemctl stop firewalld

永久关闭防火墙
systemctl disable firewalld

sed -i ‘s/^SELINUX=enforcing$/SELINUX=disabled/’ /etc/selinux/config && setenforce 0

2、配置hosts，三台机器都要操作一次

vim /etc/hosts
新增
10.52.1.1 spark1
10.52.1.2 spark2
10.52.1.3 spark3

3、三台机器配置root账号免密钥

(1) 生成密钥,三台机器都执行
ssh-keygen
(2)公钥复制
比如在spark1上执行完ssh-keygen后，执行
ssh-copy-id root@spark2
ssh-copy-id root@spark3

在spark2上执行：
ssh-copy-id root@spark1
ssh-copy-id root@spark3

在spark3上执行：
ssh-copy-id root@spark1
ssh-copy-id root@spark2

（3）自己ssh自己
在spark2上执行：
cd ~/.ssh/
cat id_rsa.pub >> authorized_keys

4、Spark版本的选择

1．Spark版本的选择，附Spark官网的地址，http://spark.apache.org/downloads.html, https://archive.apache.org/dist/spark/
spark包下载地址
2．Scala版本的选择，附Scala官网的地址，https://www.scala-lang.org/download/2.12.2.html
Scala下载地址
3. Java版本的选择，附Java官网的地址https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html
在这里插入图片描述

三、部署过程

1、部署Scala

  1. 上传scala压缩包scala-2.12.2.tgz，并解压到指定位置
    tar -xvf scala-2.12.2.tgz -C /opt/modules/
    解压完在/opt/modules/下出现scala-2.12.2

  2. 修改名称
    mv /opt/modules/scala-2.12.2 /opt/modules/scala

  3. 配置scala的环境变量
    vim /etc/profile
    添加：

    export HADOOP_HOME=/opt/modules/hadoop
export SCALA_HOME=/opt/modules/scala
export PATH=$PATH:$SCALA_HOME/bin

    使环境变量生效
    source /etc/profile

  4. 验证版本
    scala -versionScala版本

  5. 分发到其他两个节点(spark2和spark3都要分发)
    scp -r /opt/modules/scala root@spark2:/opt/modules/
    scp /etc/profile root@spark2:/etc/profile

    在三个节点都执行source /etc/profile

2、部署Java环境

  1. 上传java压缩包jdk-8u261-linux-x64.tar.gz，并解压到指定位置
    tar -xvf jdk-8u261-linux-x64.tar.gz -C /opt/modules/
    解压完在/opt/modules/下出现jdk1.8.0_261

  2. 修改名称
    mv /opt/modules/jdk1.8.0_261 /opt/modules/jdk8

  3. 配置Java的环境变量
    vim /etc/profile
    添加：

    export JAVA_HOME=/opt/modules/scala
export PATH=$PATH:$JAVA_HOME/bin

    使环境变量生效
    source /etc/profile

  4. 验证版本
    java -version
    在这里插入图片描述

  5. 分发到其他两个节点(spark2和spark3都要分发)
    scp -r /opt/modules/jdk8 root@spark2:/opt/modules/
    scp /etc/profile root@spark2:/etc/profile

    在三个节点都执行source /etc/profile

3、部署Spark

  1. 上传Spark压缩包spark-3.2.0-bin-hadoop3.2.tgz，并解压到指定位置
    tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /opt/modules/
    解压完在/opt/modules/下出现spark-3.2.0-bin-hadoop3.2

  2. 修改名称
    mv /opt/modules/spark-3.2.0-bin-hadoop3.2 /opt/modules/spark

  3. 配置Spark的环境变量
    vim /etc/profile
    添加：

export SPARK_HOME=/opt/modules/spark
export PATH=$PATH:$SPARK_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin

使环境变量生效
source /etc/profile
  1. 配置slaves文件
    cd /opt/modules/spark/conf
    cp workers.template slaves
    vim slaves
    加入三个节点的主机名
    spark1
    spark2
    spark3
  2. 配置spark-evn.sh文件
    cp spark-env.sh.template spark-env.sh
    编辑配置文件：
    添加：
export SPARK_PID_DIR=${HADOOP_HOME}/pids
export JAVA_HOME=/opt/modules/jdk8
export HADOOP_HOME=/opt/modules/hadoop
export HADOOP_CONF_DIR=/opt/modules/hadoop/etc/hadoop
export SCALA_HOME=/opt/modules/scala-2.12.2
export SPARK_HOME=/opt/modules/spark
export SPARK_MASTER_IP=spark1
export MASTER=spark://spark1:7077
export SPARK_MASTER_WEBUI_PORT=8090
export SPARK_WORKER_MEMORY=16g
export SPARK_WORKER_CORES=16
export YARN_CONF_DIR=/opt/modules/hadoop/etc/hadoop

##zookeeper+spark高可用 ，没有装zookeeper的下边可以不配置
-Dspark.deploy.zookeeper.url=hadoop1:2181,hadoop2:2181,hadoop3:2181 
-Dspark.deploy.zookeeper.dir=/export/spark-ha"
  1. 将spark1的spark分发到spark2和spark3
 scp -r /opt/modules/spark root@spark2:/opt/modules/
 scp -r /opt/modules/spark root@spark3:/opt/modules/
  1. 修改spark2和spark3的环境变量
    vim /etc/profile
    添加
export SPARK_HOME=/opt/modules/spark
export PATH=$PATH:$SPARK_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin

source /etc/profile
  1. 启动集群（standalone方式）
sh /opt/modules/spark/sbin/start-all.sh
  1. 验证启动结果
    主节点
    在这里插入图片描述
    从节点
    在这里插入图片描述
    在这里插入图片描述
  2. 在页面上验证UI的启动结果
    访问http://spark1:8090/ 是否出现类似的界面
    在这里插入图片描述
  3. Standalone方式验证计算圆周率PI
 spark-submit --master spark://spark1:7077 --class org.apache.spark.examples.SparkPi /opt/modules/spark/examples/jars/spark-examples_2.12-3.2.0.jar 12

在这里插入图片描述
计算结果

看是否能执行成功
11. Yarn方式提交集群计算圆周率PI

 spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi /opt/modules/spark/examples/jars/spark-examples_2.12-3.2.0.jar 12

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  1. Spark客户端提交Spark程序（客户端不在Spark集群中）
    需要先在客户端服务器配置hosts
    vim /etc/hosts
    添加
  10.52.1.1 spark1
  10.52.1.2 spark2
  10.52.1.3 spark3

客户端机器安装jdk8和scala2.12,将Hadoop集群中的/opt/modules/hadoop直接拷贝到客户端中
/opt/modules/ 下
将spark1上安装的spark分发到客户端上，修改spark/conf下的
spark-env.sh
vim spark-env.sh

把Java、Scala、Hadoop改为客户端的安装路径

export SPARK_PID_DIR=${HADOOP_HOME}/pids
export JAVA_HOME=/opt/modules/jdk8
export HADOOP_HOME=/opt/modules/hadoop
export HADOOP_CONF_DIR=/opt/modules/hadoop/etc/hadoop
export SCALA_HOME=/opt/modules/scala-2.12.2
export SPARK_HOME=/opt/modules/spark
export SPARK_MASTER_IP=spark1
export MASTER=spark://spark1:7077
export SPARK_MASTER_WEBUI_PORT=8090
export SPARK_WORKER_MEMORY=16g
export SPARK_WORKER_CORES=16
export YARN_CONF_DIR=/opt/modules/hadoop/etc/hadoop
export SPARK_PID_DIR=${HADOOP_HOME}/pids
export JAVA_HOME=/opt/modules/jdk8
export HADOOP_HOME=/opt/modules/hadoop
export HADOOP_CONF_DIR=/opt/modules/hadoop/etc/hadoop
export SCALA_HOME=/opt/modules/scala-2.12.2
export SPARK_HOME=/opt/modules/spark
export SPARK_MASTER_IP=spark1
export MASTER=spark://spark1:7077
export SPARK_MASTER_WEBUI_PORT=8090
export SPARK_WORKER_MEMORY=16g
export SPARK_WORKER_CORES=16
export YARN_CONF_DIR=/opt/modules/hadoop/etc/hadoop

测试在yarn上提交spark计算圆周率PI

/nfs/spark/spark/bin/spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi /nfs/spark/spark/examples/jars/spark-examples_2.12-3.2.0.jar 12

在这里插入图片描述
在这里插入图片描述

山大古巨基
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spark-3.2.0-bin-hadoop3.2.tgz
01-04
spark-3.2.0-bin-hadoop3.2.tgz
Hadoop3.2.0集群搭建常见注意事项
01-09
在搭建Hadoop 3.2.0集群时，有几点重要的注意事项需要关注，以确保集群的稳定运行和正确配置。以下是对这些要点的详细说明： 首先，关于端口的变化是关键。在3.2.0版本中，Namenode的Web界面端口由原来的50070更改...
Spark3.3集群安装部署
以茉萱的博客
12-17 1124
spark从1.0版本发布至今，已经更新到3.5版本，目前生态发展非常成熟，无论是kafka、hive、还是数据湖格式（hudi、iceberg、delta）都对spark有做兼容适配，提供的API也是非常之多，由于实时场景的增加，spark计算引擎已经逐步替代mapreduce引擎，成为离线批处理的首选，而且spark提供了非常多的算数转子用于处理复杂计算，并且这些转化操作都是惰性求值，不用像mapreduce那样每一步操作需指定落在哪里，在流式处理方面，随意structed streaming的推出，s
Ubuntu22.04下安装Spark3.2.0（Local模式）
最新发布
哇咔咔哇咔的博客
04-23 1481
Ubuntu22.04下安装Spark3.2.0保姆级教程
安装spark3
11-04 72
配置环境变量cd sparkcd conf。
spark3.0 分布式集群搭建
GotFull的博客
03-12 4834
Spark 集群环境搭建-exsi 1、虚拟机环境配置 进入管理界面 创建虚拟机 后续选择存储空间位置 3处选择存储目录中的 centos7，安装过程略 如法炮制建立三个虚拟机 ssh连接 此处使用的软件是MobaXterm 2、虚拟机基础配置 需要配置的是 1、网卡开机自动启动，与静态ip 2、修改主机名称 3、关闭centos 防火墙 4、host配置 5、时区设置 6、ssh免密码连接 2.1 网卡开机启动与静态ip 进入该目录 cd /etc/sysconfig/network-scrip
Ubuntu下安装Spark3.2.0教程
程序必须为人类阅读而编写，并且仅仅碰巧可以让机器执行
12-10 8404
文章目录前言一、安装Spark1. 下载压缩包并解压2. 安装Spark3. 配置环境变量4. 修改配置文件二、验证Spark安装及错误处理1. 运行Spark实例2. 启动Spark shell三、总结 前言 Spark 的安装需要建立在 Hadoop 的之上（类似于 Hbase 和 Hive），关于 Hadoop 的单机安装以及伪分布式安装可以参考作者的另两篇博客： Ubuntu下单机安装Hadoop详细教程（附所需安装包下载） Ubuntu下伪分布式安装Hadoop详细教程 本文安装的 Hado
spark-3.2.0-bin-hadoop3-without-hive
04-24
《Spark 3.2.0 与 Hadoop 3 的集成——无 Hive 版本解析》 Spark，作为大数据处理领域的重要工具，以其高效的内存计算和分布式数据处理能力备受青睐。Spark 3.2.0 是一个重要的版本更新，它在性能、稳定性和功能上...
spark-3.2.0-bin-without-hadoop.tgz
06-14
在配置完成后，你可以通过`spark-submit`命令提交一个Spark应用程序到集群。例如，你可以使用一个简单的Word Count示例来测试安装是否成功： ```bash bin/spark-submit --class org.apache.spark.examples.SparkPi ...
Spark3.2教程（前置）关于Spark3.2.0与Scala版本的坑
Java朱老师博客
12-24 5700
        搭建和使用最新版的Spark3.2.0，在版本上踩了很多坑，特此记录一下，避免后来者犯错。 首先看下图，即官网下载Spark的版本选择上的红框介绍：         这里介绍了Spark3用的是Scala2.12，Spark3.2+用的是Scala2.13，但是如果下载下来会发现，该包下的Scala版本是2.12.15，如下图所示：
安装spark3.2
韦不二的博客
12-14 1136
安装spark3.2 1 .下载 地址：https://spark.apache.org/downloads.html 2. 解压到安装目录 解压： 重命名： 3.安装scala 地址：https://downloads.lightbend.com/scala/2.12.15/scala-2.12.15.tgz 4. 配置环境变量 立即生效：source ~/.bashrc 4.配置 配置spark-env.sh cp $SPARK_HOME/conf/spark-env.sh.template
spark-2.3.0
04-25
大数据spark,大数据大数据大数据大数据大数据大数据大数据大数据大数据
Spark下载和安装（学习笔记）
杨明全的技术生涯
11-12 3756
夫君子之行，静以修身，俭以养德，非淡泊无以明志，非宁静无以致远。 夫学须静也，才须学也，非学无以广才，非志无以成学。淫慢则不能励精，险躁则不能冶性。 年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及。 ——诸葛亮《诫子书》 于文章中出现的任何错误请大家批评指出，一定及时修改 有任何想要讨论和学习的问题可联系我：yangmq@aliyun.com 文章目录Spark下载和安装（学习笔记）一、Spark下载和安装 Spark下载和安装（学习笔记） 一、Spark下载和安装 Spark安装 .
cento7 spark3 安装 anaconda安装
小柒心得
07-08 1154
cento7 spark3 安装 anaconda安装 spark整合hive
spark3安装部署
kkk972的博客
04-26 1007
spark3安装部署 一、下载地址 https://archive.apache.org/dist/spark 二、将conf文件夹下的spark-env.sh.template重命名为spark-env.sh，并添加配置 export JAVA_HOME=/opt/jdk1.8.0_281 #不用master ha需添加 #export SPARK_MASTER_HOST=node03 export HADOOP_HOME=/home/hadoop/apps/hadoop-3.2.1 export HAD
spark3.0.2搭建教程
Andy86666的博客
11-24 1099
spark3.0.2搭建教程
Apache Hadoop3.2.2与Spark3.0.0环境安装
纸上得来终觉浅，绝知此事要躬行
02-17 3255
基础环境说明 系统环境：centos8 主机名：www.boonya.cn vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 www.boonya.cn boonya.cn ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 JDK基础环境安装 下载并解压.
Spark-2.3.0环境搭建安装
csdnmrliu的博客
10-09 1971
安装包：spark-2.3.0-bin-hadoop2.7 1. 下载安装包 wget https://archive.apache.org/dist/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz 2. 解压缩 tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz -C /usr/local 3. 配置环境变...
spark3.2.0 graphframes是0.6可以吗
07-16
Spark 3.2.0 是 Apache Spark 的一个版本，而 GraphFrames 0.6 是一个与 Spark 配套使用的图处理库。你可以在 Spark 3.2.0 中使用 GraphFrames 0.6 来进行图数据处理和分析。请确保你按照正确的方式将 GraphFrames ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值