Spark环境搭建部署全流程（Linux），看这一篇就够了

已于 2023-08-10 14:00:01 修改
阅读量1.4k 收藏 7
点赞数
分类专栏： spark 文章标签： spark linux 大数据
于 2023-08-09 11:42:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rain_2021245488/article/details/132017997
版权

前言

本篇文章将给各位展示如何快速地在linux上搭建spark，本文搭建的环境为Vmware 16 pro 下的CentOS 7 linux、hadoop版本为3.x以上，Jdk1.8，
以下是我总结出的spark几种模式的部署流程，如果是新手，请按流程走完，如果是有过搭建经验的，可根据所需点击相应链接。

传送门

一、Local模式部署

1、linux安装Anaconda
2、Spark Local 环境部署

二、StandAlone模式部署

1、Spark StandAlone环境部署
2、StandAlone程序测试
3、ZooKeeper安装部署
4、Spark StandAlone HA 环境部署

三、Spark on YARN模式部署

1、Spark on YARN环境部署
2、Spark on YARN 两种运行模式

编程爱
关注
专栏目录
【云原生】docker 部署 Doris 数据库使用详解
congge
09-08 1万+
docker 部署 Doris 数据库使用详解
大数据生态组件——Spark学习（搭建spark完全分布式环境）
shy-2的博客
05-16 1019
学习sparkSpark下载安装spark下载spark安装spark熟悉spark的目录结构配置环境变量配置spark完全分布式集群配置spark的环境变量文件`spark-env.sh`配置spark的slaves文件同步文件测试spark完全分布式集群 本次带来的是spark的学习使用教程 Spark 下载安装spark 下载spark hadoop搭建及其他一些生态圈组件安装可查看我的另一篇博客一文搞定hadoop及其生态圈组件的安装，赶紧收藏起来吧！ 去开源社区下载spark，注意版本和你ha
liunx安装spark
weixin_53898747的博客
03-27 1529
spark安装
Linux安装Spark的详细过程
weixin_63522596的博客
03-27 2271
Linux安装Spark的详细过程；配置Spark的环境变量；启动Spark；关闭Spark。
Linux安装Openfire、Spark
最新发布
2401_85125493的博客
09-07 1132
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
基于Linux的Spark安装与环境配置
leoatliang的博客
11-01 1万+
基于Linux的Spark安装与环境配置
Linux安装spark
《@书山有径%》的博客
09-04 2410
Linux安装spark 下载spark 华为源下载 或使用 wgethttps://mirrors.huaweicloud.com/apache/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz 解压spark tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz 重命名 mv spark-2.2.0-bin-hadoop2.7 spark 配置环境变量 vim .bashrc 往里面添加 export SPARK_HOME
Linux安装 spark 教程详解
jojo_oulaoula的博客
10-07 2133
链接: https://pan.baidu.com/s/1Brm6XqaqYQnXQwOd8mUt7A?链接: https://pan.baidu.com/s/1ua01OvTYjFQyG82AG1g1yg?scala 的安装比较简单，spark 的运行环境需要 scala。添加配置，这里根据自己的各个安装包的位置来。这里放在了 /opt/install 目录。这里放在了 /opt/install 目录。解压至 /opt/soft 目录。解压至 /opt/soft 目录。修改后保存退出，source一下。
Spark安装部署 ——一篇文章轻松学会三种Spark运行环境的搭建
Ajekseg的博客
06-12 242
??♂??♂ 写在前面1、将spark压缩包上传到linux2、将spark解压到一个指定的位置再来 cd /opt/moudle查看3、修改名字为spark-local4、启动SparkLocal环境进入spark-local执行命令 5、web端查看启动成功后，可以输入网址进行Web UI监控页面访问1、在解压缩文件夹下的data目录中，添加word.txt文件。2、在启动界面的命令行输入以下命令： 3、退出本地模式按Ctrl + c 或者 键入 –class表示要执行程序的主类，此处可以更换为咱
大数据学习之路 Hadoop篇（一）：超简单的虚拟机搭建Hadoop+Hive+Spark+HBase环境
GodxvA
03-14 4744
这么长时间没有写博客，期间也发生了很多事情，我也一不小心从萌萌的开发变成了萌萌的数据。 我在写这篇博客的时候还是数据方面的初学者，一来可以回顾总结自己最近学习的内容，督促自己更快更仔细的学习；二来可以为和我一样的初学者提供方便，不必花很多精力去找一些资源和技巧或者环境的搭建，而是专注于知识的学习。 工欲善其事，必先利其器。要想学好大数据，得先有大数据方面的环境。我看过网上很多搭建的教程，自己一...
Spark on K8S（spark-on-kubernetes-operator）环境搭建
weixin_42305433的博客
01-13 3713
Spark on K8S（spark-on-kubernetes-operator）环境搭建以及demo过程环境要求基本原理环境安装kubernetes 1.13环境安装Spark-on-kubernetes-operator环境安装关于kerberos 环境要求 Operator Version：最新即可 Kubernetes Version: 1.13或更高 Spark Version：2...
Linux安装Spark集群
09-14
Linux安装Spark集群 Spark可以在只安装了JDK、scala的机器上直接单机安装，但是这样的话只能使用单机模式运行不涉及分布式运算和分布式存储的代码，例如可以单机安装Spark，单机运行计算圆周率的Spark程序。但是我们要运行的是Spark集群，并且需要调用hadoop的分布式文件系统，所以请先安装Hadoop
Linux -Spark安装
qq_52211469的博客
05-31 2986
1、使用fz上传spark压缩包到/app/tools/ 2、进入tools目录 cd /app/tools/ 使用ls查看 3、解压文件 tar -zxvf spark-2.4.1-bin-hadoop2.7.tgz ![在这里插入图片描述](https://img-blog.csdnimg.cn/eacd1ec892f54c658e91b1564e4df51b.png 解压成功 4、删除spark文件压缩包 rm -rf spark-2.4.1-bin-hadoop2.7.tgz （
Linux安装Spark
橘子
08-31 1066
首先需要安装JDK7+ Spark是Scala写的，如果是使用Python API 还得要安装Python2.6+ 或者Python3.4+ Spark需和Scala版本对应 假如版本不一致 后期可能会很麻烦 Spark 1.6.2 - Scala 2.10 Spark 2.0.0 - Scala 2.11 在Spark官网上下载自己要的Spark版本 http://spark.apa...
Linux虚拟机环境搭建spark
2401_83816794的博客
04-07 3960
大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
Linux Spark安装教程
这个人很懒什么都没有留下
01-04 1223
先把安装包上传到linux中,并且解压到目录 vi /etc/profile 配置环境变量 添加以下变量 /opt/soft/spark 是你解压的目录路径 进入到conf目录下 复制一个spark-env.sh副本 进入副本在下面添加以下以下配置 # 添加java环境 export JAVA_HOME=/opt/soft/jdk # 主节点 hadoop1是主机名 export SPRAK_MASTER_HOST=hadoop1 # 端口 export SPARK_MASTER_PORT=7
linux spark安装
lecy的博客
01-23 362
安装包下载 迅雷云盘：spark-2.3.1 链接：https://pan.xunlei.com/s/VMRi1Hz4HAr4_o2bdUHihBhKA1 提取码：ez34 创建虚拟机 创建三台需要的虚拟机，且已经安装好java环境 关闭防火墙 查看防火墙状态： systemctl status firewalld.service 绿的running表示防火墙开启 执行关闭命令： systemctl stop firewalld.service 再次执行查看防火墙命令：systemctl status f
Linux安装Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)
热门推荐
pucao_cug的专栏
05-16 2万+
Linux安装Spark(CentOS7+Spark2.1.1+Hadoop2.8.0)-v1.0.0版本号：CentOS7 Hadoop2.8.0 Spark2.1.1 Scala2.12.2 JDK1.8
Liunx上快速搭建Spark开发环境：步骤详解
本文档主要介绍了如何在Linux系统上...这篇博客详细介绍了在Linux环境下搭建Spark开发环境的步骤，包括Scala和SBT的安装以及Spark本身的下载和配置。对于想要开发Spark应用的开发者来说，这是必不可少的基础配置过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值