Spark运行模式及安装部署

最新推荐文章于 2024-05-20 11:28:07 发布
最新推荐文章于 2024-05-20 11:28:07 发布
阅读量623 收藏 4
点赞数 1
分类专栏： spark 文章标签： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42796403/article/details/111499940
版权

目录

一、Spark运行模式

部署Spark集群大体上分为两种模式：单机模式与集群模式
大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。但是在生产环境中，并不会使用单机模式。因此，后续直接按照集群模式部署Spark集群。

下面详细列举了Spark目前支持的部署模式。
（1）Local模式：在本地部署单个Spark服务
（2）Standalone模式：Spark自带的任务调度模式。（国内常用）
（3）YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用）
（4）Mesos模式：Spark使用Mesos平台进行资源与任务的调度。

二、Spark安装地址

1）官网地址：http://spark.apache.org/
2）文档查看地址：https://spark.apache.org/docs/3.0.0/
3）下载地址：https://spark.apache.org/downloads.html
https://archive.apache.org/dist/spark/

三、Local模式

Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。

3.1 安装使用

1）上传并解压Spark安装包

[hadoop@hadoop102 sorfware]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
[hadoop@hadoop102 module]$ mv spark-3.0.0-bin-hadoop3.2 spark-local

2）官方求PI案例

[hadoop@hadoop102 spark-local]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

可以查看spark-submit所有参数：

[hadoop@hadoop102 spark-local]$ bin/spark-submit

  • –class：表示要执行程序的主类；

  • –master local[2]
    （1）local: 没有指定线程数，则所有计算都运行在一个线程当中，没有任何并行计算
    （2）local[K]:指定使用K个Core来运行计算，比如local[2]就是运行2个Core来执行
    （3）local[*]：默认模式。自动帮你按照CPU最多核来设置线程数。比如CPU有8核，Spark帮你自动设置8个线程计算。

  • spark-examples_2.12-3.0.0.jar：要运行的程序；

  • 10：要运行程序的输入参数（计算圆周率π的次数，计算次数越多，准确率越高）；

3）结果展示
该算法是利用蒙特·卡罗算法求PI
在这里插入图片描述

四、集群角色

4.1 Master和Worker集群资源管理

在这里插入图片描述

Master和Worker是Spark的守护进程、集群资源管理者，只有Standalong模式下才会使用。
Master负责管理集群的资源，Worker负责管理单个节点的资源，类似于Yarn中的RM和NM。

4.2 Driver和Executor任务的管理者

在这里插入图片描述

Driver和Exector是临时程序，当具体任务提交到Spark才会开启。
Driver负责把用户程序转换为Job，为执行器节点分配具体任务并监控Executor的执行情况，将执行情况展示在UI界面。
Executor接受Driver分派的任务，负责具体执行。

五、Standalone模式

Standalone模式是Spark自带的资源调动引擎，构建一个由Master + Slave构成的Spark集群，Spark运行在集群中。
这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群，不需要借助Hadoop的Yarn和Mesos等其他框架。

5.1 安装使用

1）集群规划
在这里插入图片描述

2）再解压一份Spark安装包，并修改解压后的文件夹名称为spark-standalone

[hadoop@hadoop102 sorfware]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
[hadoop@hadoop102 module]$ mv spark-3.0.0-bin-hadoop3.2 spark-standalone

3）进入Spark的配置目录/opt/module/spark-standalone/conf

[hadoop@hadoop102 spark-standalone]$ cd conf

4）修改slave文件，添加work节点：

[hadoop@hadoop102 conf]$ mv slaves.template slaves
[hadoop@hadoop102 conf]$ vim slaves


hadoop102
hadoop103
hadoop104

5）修改spark-env.sh文件，添加master节点

[hadoop@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh
[hadoop@hadoop102 conf]$ vim spark-env.sh

SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077

6）分发spark-standalone包

[hadoop@hadoop102 module]$ xsync spark-standalone/

分发脚本详见集群搭建篇

7）启动spark集群

[hadoop@hadoop102 spark-standalone]$ sbin/start-all.sh

查看三台服务器运行进程（xcall.sh脚本详见集群搭建篇）

[hadoop@hadoop102 spark-standalone]$ xcall.sh jps
================atguigu@hadoop102================
3330 Jps
3238 Worker
3163 Master
================atguigu@hadoop103================
2966 Jps
2908 Worker
================atguigu@hadoop104================
2978 Worker
3036 Jps

注意：如果遇到 “JAVA_HOME not set” 异常，可以在sbin目录下的spark-config.sh 文件中加入如下配置：

export JAVA_HOME=XXXX

8）网页查看：hadoop102:8080（master web的端口，相当于hadoop的8088端口）

目前还看不到任何任务的执行信息。

9）官方求PI案例

[hadoop@hadoop102 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

参数：--master spark://hadoop102:7077指定要连接的集群的master

10）页面查看http://hadoop102:8080/，发现执行本次任务，默认采用三台服务器节点的总核数24核，每个节点内存1024M。

8080：master的webUI
4040：application的webUI的端口号
在这里插入图片描述

5.2 参数说明

5.3 配置历史服务

由于spark-shell停止掉后，hadoop102:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

1）修改spark-default.conf.template名称

[hadoop@hadoop102 conf]$ mv spark-defaults.conf.template spark-defaults.conf

2）修改spark-default.conf文件，配置日志存储路径（写），并分发

[hadoop@hadoop102 conf]$ vi spark-defaults.conf
spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://hadoop102:8020/directory

[hadoop@hadoop102 conf]$ xsync spark-defaults.conf

注意：需要启动Hadoop集群，HDFS上的目录需要提前存在。

[hadoop@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[hadoop@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /directory

3）修改spark-env.sh文件，添加如下配置：

[hadoop@hadoop102 conf]$ vi spark-env.sh

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"
# 参数1含义：WEBUI访问的端口号为18080
# 参数2含义：指定历史服务器日志存储路径（读）
# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4）分发配置文件

[hadoop@hadoop102 conf]$ xsync spark-env.sh

5）启动历史服务

[hadoop@hadoop102 spark-standalone]$ 
sbin/start-history-server.sh

6）再次执行任务

[hadoop@hadoop102 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

7）查看Spark历史服务地址：hadoop102:18080
在这里插入图片描述

5.4 配置高可用（HA）

1）高可用原理
在这里插入图片描述

2）配置高可用
（0）停止集群

[hadoop@hadoop102 spark-standalone]$ sbin/stop-all.sh

（1）Zookeeper正常安装并启动

[hadoop@hadoop102 zookeeper-3.4.10]$ zk.sh start

（2）修改spark-env.sh文件添加如下配置：

[hadoop@hadoop102 conf]$ vi spark-env.sh

#注释掉如下内容：
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077

#添加上如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spark目录，用于管理：
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 
-Dspark.deploy.zookeeper.dir=/spark"

#添加如下代码
#Zookeeper3.5的AdminServer默认端口是8080，和Spark的WebUI冲突
export SPARK_MASTER_WEBUI_PORT=8989

（3）分发配置文件

[hadoop@hadoop102 conf]$ xsync spark-env.sh

（4）在hadoop102上启动全部节点

[hadoop@hadoop102 spark-standalone]$ sbin/start-all.sh

（5）在hadoop103上单独启动master节点

[hadoop@hadoop103 spark-standalone]$ sbin/start-master.sh

（6）在启动一个hadoop102窗口，将/opt/module/spark-local/input数据上传到hadoop集群的/input目录

[hadoop@hadoop102 spark-standalone]$ hadoop fs -put /opt/module/spark-local/input/ /input

（7）Spark HA集群访问

[hadoop@hadoop102 spark-standalone]$
bin/spark-shell \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2g \
--total-executor-cores 2

参数：--master spark://hadoop102:7077指定要连接的集群的master

（8）执行WordCount程序

scala>sc.textFile("hdfs://hadoop102:8020/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect


res0: Array[(String, Int)] = Array((hadoop,6), (oozie,3), (spark,3), (hive,3), (atguigu,3), (hbase,6))

3）高可用测试

在这里插入图片描述
在这里插入图片描述

（1）查看hadoop102的master进程

[hadoop@hadoop102 ~]$ jps
5506 Worker
5394 Master
5731 SparkSubmit
4869 QuorumPeerMain
5991 Jps
5831 CoarseGrainedExecutorBackend

（2）Kill掉hadoop102的master进程，页面中观察http://hadoop103:8080/的状态是否切换为active。

在这里插入图片描述

[hadoop@hadoop102 ~]$ kill -9 5394

（3）再启动hadoop102的master进程

[hadoop@hadoop102 spark-standalone]$ sbin/start-master.sh

5.5 运行流程

Spark有standalone-client和standalone-cluster两种模式，主要区别在于：Driver程序的运行节点。

1）客户端模式

[hadoop@hadoop102 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

--deploy-mode client，表示Driver程序运行在本地客户端

在这里插入图片描述

2）集群模式模式

[hadoop@hadoop102 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

--deploy-mode cluster，表示Driver程序运行在集群

在这里插入图片描述

六、Yarn模式（重点）

Spark客户端直接连接Yarn，不需要额外构建Spark集群。

6.1 安装使用

0）停止Standalone模式下的spark集群

[hadoop@hadoop102 spark-standalone]$ sbin/stop-all.sh
[hadoop@hadoop102 spark-standalone]$ zk.sh stop
[hadoop@hadoop103 spark-standalone]$ sbin/stop-master.sh

1）为了防止和Standalone模式冲突，再单独解压一份spark

[hadoop@hadoop102 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/

2）进入到/opt/module目录，修改spark-3.0.0-bin-hadoop3.2名称为spark-yarn

[hadoop@hadoop102 module]$ mv spark-3.0.0-bin-hadoop3.2/ spark-yarn

3）修改hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml，添加如下内容
因为测试环境虚拟机内存较少，防止执行过程进行被意外杀死，做如下配置

[hadoop@hadoop102 hadoop]$ vi yarn-site.xml
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

4）分发配置文件

[hadoop@hadoop102 conf]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

5）修改/opt/module/spark-yarn/conf/spark-env.sh，添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径

[hadoop@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh
[hadoop@hadoop102 conf]$ vi spark-env.sh

YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop

6）启动HDFS以及YARN集群

[hadoop@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[hadoop@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

7）执行一个程序

[hadoop@hadoop102 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

参数：--master yarn，表示Yarn方式运行；--deploy-mode表示客户端方式运行程序

8）如果运行的时候，抛出异常ClassNotFoundException:com.sun.jersey.api.client.config.ClientConfig

-原因分析：Spark2中jersey版本是2.22，但是yarn中还需要依赖1.9，版本不兼容
-解决方式：在yarn-site.xml中，添加
<property>
	<name>yarn.timeline-service.enabled</name>
	<value>false</value>
</property>

9）查看hadoop103:8088页面，点击History，查看历史页面

在这里插入图片描述

6.2 配置历史服务

由于是重新解压的Spark压缩文件，所以需要针对Yarn模式，再次配置一下历史服务器。

1）修改spark-default.conf.template名称

[hadoop@hadoop102 conf]$ mv spark-defaults.conf.template spark-defaults.conf

2）修改spark-default.conf文件，配置日志存储路径（写）

[hadoop@hadoop102 conf]$ vi spark-defaults.conf
spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://hadoop102:8020/directory

3）修改spark-env.sh文件，添加如下配置：

[hadoop@hadoop102 conf]$ vi spark-env.sh

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"
# 参数1含义：WEBUI访问的端口号为18080
# 参数2含义：指定历史服务器日志存储路径
# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

6.3 配置查看历史日志

为了从Yarn上关联到Spark历史服务器，需要配置关联路径。

1）修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf

添加如下内容：

spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080

2）重启Spark历史服务

[hadoop@hadoop102 spark-yarn]$ sbin/stop-history-server.sh 

[hadoop@hadoop102 spark-yarn]$ sbin/start-history-server.sh

3）提交任务到Yarn执行

[hadoop@hadoop102 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

4）Web页面查看日志：http://hadoop103:8088/cluster
在这里插入图片描述

点击“history”跳转到http://hadoop102:18080/
在这里插入图片描述

6.4 运行流程

Spark有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。
yarn-cluster：Driver程序运行在由ResourceManager启动的APPMaster适用于生产环境。

1）客户端模式（默认）

[hadoop@hadoop102 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

在这里插入图片描述

客户端向通过SparkSubmit向Yarn提交任务时，会在本地创建Driver进程并向RM进行任务注册，RM收到任务后在NM上启动一个ApplicationMaster负责任务的管理，同时AM向RM申请资源创建Executoer，Executor向Driver进行反向注册获取具体任务进行处理，任务结束后AM会向RM进行注销，释放占用资源。

2）集群模式

[hadoop@hadoop102 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

在这里插入图片描述

与客户端提交方式不同的是，集群模式提交任务时RM会先启动AM，然后在AM所在节点启动Driver进程。

七、几种模式对比

在这里插入图片描述

大数据面壁者
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark的几种模式的比较
wyqwilliam的博客
12-01 2469
在spark的学习中，spark一共有四种模式，分别是： spark基于local spark基于standalone spark基于yarn spark基于metsos   Standalone模式两种提交任务方式 Standalone-client提交任务方式 提交命令 ./spark-submit --master spark://node1:7077 -...
spark 运行自带样例SparkPi、spark-examples报错
楠楠好难
04-15 1万+
错误： scala> ./spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.10.1.jar 10 scala> spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_
spark-examples:探索 Spark 的示例
06-29
spark-examples Anagrams、BigramAnalysis、Inverted index、vihicle 使用在这一点上是稳定的，所有其他类都是 WIP。 一些示例依赖于本地文件，我将修复这些输入路径。 为了从本地机器运行示例，请确保您的路径中有 spark 可用。 如果您想在集群上运行代码，请将您的节点配置为集群的边缘节点，方法是将 Hadoop 配置复制到您的机器上，并将 HADOOP_CONF_DIR 设置为配置所在的目录。 集群上的 Spark shell 可以通过， spark-shell --master yarn 启动 要在集群上运行您的代码，您需要首先通过执行 sbt assembly 创建一个 fat jar 从 jar 运行作业： spark-submit --class classToRun --master masterCanBeLocal
Spark 1
sj天问的博客
12-01 483
Spark概述 什么是Spark 回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Hadoop与Spark历史 Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。 Hadoop与Spark框架对比 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集
Spark运行模式详解
最新发布
喻师傅的学习笔记
05-20 1258
Spark运行模式详解
Spark自带example
u012667450的博客
04-28 3371
Spark自带examples案例 1.SparkPi 在SPARK_HOME目录下运行如下命令： bin/run-example org.apache.spark.examples.SparkPi 结果如下图所示： 到此，案例成功运行，运行结果为：Pi is roughly 3.1402157010785055 2.others 其他案例也是类似，注意两个问题： 必须是run-example命令。 确定类名。 类名可以在SPARK_HOME目录下的examples/src/main/scala/
Spark安装及运行模式
weixin_45190266的博客
07-02 273
一、重要角色 1、Driver（驱动器） 执行开发程序中的main方法的进程，它负责开发人员编写的用来创建SparkContext、创建RDD、以及进行RDD的转化操作和行动操作代码的执行。
Spark入门(二)运行模式及安装部署
PassionZheng的博客
05-19 711
上一节对Spark进行大致的介绍，包括其历史、特点以及各内置模块等方面内容，书归正题，本节就对Spark框架的安装部署进行大致的介绍。 部署Spark集群大体上分为两种模式：单机模式与集群模式。大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境，但是在生产环境中，并不会使用单机模式。因此，后续会直接按照集群模式部署Spark集群。 Spark目前支持 4 种运行模式： 1）Local模式：在本地部署单个Spark服务（适用于测试） 2）Standalone模式：并非是单节点，而是使用Spark自
Spark实验：Standalone模式安装部署（带答案）1
08-03
【Spark Standalone模式安装部署详解】 Spark是一款快速、通用且可扩展的大数据处理框架，它提供了高效的批处理、交互式查询、流处理等多种计算模式。在Standalone模式下，Spark可以独立于任何分布式资源管理系统...
Spark实验：On Yarn模式安装部署（带答案）1
08-03
在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要准备实验环境，这里包括三台虚拟机，操作系统为CentOS 7.5，Hadoop版本为2.7.3，Spark版本为2.1.1。这些版本的兼容性对于实验的...
spark之Standalone模式部署配置详解
08-29
Spark 之 Standalone 模式部署配置详解 Spark 是一个基于内存的集群计算引擎，它可以在多种模式下运行，包括本地模式、伪分布式模式、集群模式等。在这些模式中，Standalone 模式是 Spark 的自带模式，对于大多数...
spark1.2.1常用模式部署运行
03-02
Spark 1.2.1常用模式部署运行 Spark 1.2.1 是 Apache Spark 项目的旧版本，但仍然具有重要的参考价值。本文档详细介绍了 Spark 1.2.1 在 standalone 集群模式和 on yarn 集群模式下的部署与运行方式。 Spark 版本...
Spark on Yarn模式部署.docx
10-03
Spark on Yarn 模式部署是一种常见的 Spark 应用场景，本文将详细介绍 Spark on Yarn 模式部署的步骤和配置过程。 标题解释 Spark on Yarn 模式部署是指将 Spark 应用程序部署在 Yarn 集群上，使得 Spark 能够使用 ...
Spark源码编译: 在IDEA中运行 spark-examples 模块源码
dinghua_xuexi的专栏
05-21 1282
问题描述 当spark源码编译完成，并导入IDEA后，打开spark-examples子模块，试图运行其中的 SparkPi 程序进行测试，发现各种报错，这些错提示spark依赖或者scala依赖的各种类找不到。为了解决这些问题，花了好几天时间，查了各种博客，大部分都解决不了我的问题 (网上博客等资料十有八九都是互相抄袭，来自亲身实践的很少，有真知灼见的就更少了)。大海捞针，也发现有一两篇，讲的虽不详细，但是提供了方向。 指导思想 需要为 spark-example 子模块提...
spark安装
sheisarainbow的博客
06-11 192
[atguigu@hadoop102 software]$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/ 2）进入到/opt/module目录，修改spark-2.1.1-bin-hadoop2.7名称为spark [atguigu@hadoop102 module]$ mv spark-2.1.1-bin-hadoop2.7/ spark 3）修改hadoop配置文件/opt/module/hadoop-2.7.2/etc/hadoop/y
Spark环境搭建安装及配置详细步骤（保姆教程）
热门推荐
m0_67144365的博客
05-11 1万+
Spark环境搭建安装及配置详细步骤
Spark入门
qq_37247026的博客
06-12 643
回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
关于spark作业提交：spark运行example为例
赣江
09-18 1万+
示例：yarn-cluster提交： spark-submit --master yarn --deploy-mode cluster --executor-memory 2G --executor-cores 2 --queue root.helowin --class org.apache.spark.examples.SparkPi spark-examples-1.6.3-hadoop2...
spark standalone 模式的安装和部署
06-28
Spark Standalone模式的安装和部署步骤如下： 1. 下载Spark安装包并解压缩到...以上是Spark Standalone模式的安装和部署步骤，需要注意的是，部署过程中需要根据实际情况进行配置和调整，以确保集群的稳定和高效运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值