【spark入门】

已于 2022-09-27 20:31:53 修改
阅读量754 收藏
点赞数
分类专栏： Spark 文章标签： spark 大数据 hadoop
于 2022-09-27 20:30:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tonystark_lz/article/details/127076778
版权

spark入门

spark概述

什么是sqark

回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎，解决海量数据的分析计算

历史

Hadoop的Yarn框架诞生于2013年，而spark诞生于2009年，所以spark自己设计了一套资源调度框架

spark运行模式

Spark目前支持的部署模式有以下几种：
（1）Local模式：在本地部署单个Spark服务 （本地测试用）
（2）Standalone模式：Spark自带的任务调度模式。（国内常用）
（3）YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内最常用）
（4）Mesos模式：Spark使用Mesos平台进行资源与任务的调度。（国内很少用）

Spark安装地址

1）官网地址：http://spark.apache.org/
2）文档查看地址：https://spark.apache.org/docs/3.1.3/
3）下载地址：https://spark.apache.org/downloads.html
https://archive.apache.org/dist/spark/

Local模式

Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。

安装使用

1）上传并解压Spark安装包

[atguigu@hadoop102 sorfware]$ tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/module/
[atguigu@hadoop102 module]$ mv spark-3.1.3-bin-hadoop3.2 spark-local

2）官方求PI案例

[atguigu@hadoop102 spark-local]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

 --class：表示要执行程序的主类；
 --master local[2]
（1）local: 没有指定线程数，则所有计算都运行在一个线程当中，没有任何并行计算
（2）local[K]:指定使用K个Core来运行计算，比如local[2]就是运行2个Core来执行

20/09/20 09:30:53 INFO TaskSetManager:
20/09/15 10:15:00 INFO Executor: Running task 1.0 in stage 0.0 (TID 1)
20/09/15 10:15:00 INFO Executor: Running task 0.0 in stage 0.0 (TID 0)

（3）local[*]：默认模式。自动帮你按照CPU最多核来设置线程数。比如CPU有8核，Spark帮你自动设置8个线程计算。
 spark-examples_2.12-3.1.3.jar：要运行的程序；
 10：要运行程序的输入参数（计算圆周率π的次数，计算次数越多，准确率越高）；

在任务运行还没有完成时，可登录hadoop102:4040查看程序运行结果

Standalone模式

Standalone模式是Spark自带的资源调度引擎，不需要借助Hadoop的Yarn和Mesos等其他框架。

集群角色

Master和Worker集群资源管理

在这里插入图片描述

Driver和Executor任务的管理者

在这里插入图片描述

安装使用

1）集群规划

hadoop102hadoop103hadoop104
sparkMaster|workerworkerworker

2）再解压一份Spark安装包，并修改解压后的文件夹名称为spark-standalone

[atguigu@hadoop102 sorfware]$ tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/module/
[atguigu@hadoop102 module]$ mv spark-3.1.3-bin-hadoop3.2 spark-standalone

3）进入Spark的配置目录/opt/module/spark-standalone/conf

[atguigu@hadoop102 spark-standalone]$ cd conf

4）修改workers文件，添加work节点：

[atguigu@hadoop102 conf]$ mv workers.template workers
[atguigu@hadoop102 conf]$ vim workers
hadoop102
hadoop103
hadoop104

5）修改spark-env.sh文件，添加master节点

[atguigu@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh
[atguigu@hadoop102 conf]$ vim spark-env.sh

SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077

6）分发spark-standalone包

[atguigu@hadoop102 module]$ xsync spark-standalone/

7）启动spark集群

[atguigu@hadoop102 spark-standalone]$ sbin/start-all.sh

注意：如果遇到 “JAVA_HOME not set” 异常，可以在sbin目录下的spark-config.sh 文件中加入如下配置。

export JAVA_HOME=XXXX

8）网页查看：master的webUI:hadoop102:8080 (相当于Yarn的8088端口)
4040：application的webUI的端口号。

参数说明

1）配置Executor可用内存为2G，使用CPU核数为2个

[atguigu@hadoop102 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

2）页面查看http://hadoop102:8080/
在这里插入图片描述

3）基本语法
bin/spark-submit
–class
–master
… # other options

[application-arguments]

4）参数说明
- -class ——— Spark程序中包含主函数的类
- -master ——— Spark程序运行的模式 local[*]、spark://hadoop102:7077、Yarn
- executor-memory 1G ——— 指定每个executor可用内存为1G，默认1G
- -total-executor-cores 2 ——— 指定所有executor使用的cpu核数为2个
- -executor-cores ——— 指定每个executor使用的cpu核数为2个
- - driver-cores ——— driver使用的内核数，默认为1
- - driver-memory ——— driver内存大小，默认为512M
application-jar
application-arguments 传给main()方法的参数

配置历史服务

由于spark任务停止掉后，hadoop102:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。
1）修改spark-default.conf.template名称

[atguigu@hadoop102 conf]$ mv spark-defaults.conf.template spark-defaults.conf

2）修改spark-default.conf文件，配置日志存储路径（写）

[atguigu@hadoop102 conf]$ vim spark-defaults.conf
spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://hadoop102:8020/directory
注意：需要启动Hadoop集群，HDFS上的目录需要提前存在。
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /directory

3）修改spark-env.sh文件，添加如下配置：

[atguigu@hadoop102 conf]$ vim spark-env.sh

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"

# 参数1含义：WEBUI访问的端口号为18080
# 参数2含义：指定历史服务器日志存储路径（读）
# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
4）分发配置文件

[atguigu@hadoop102 conf]$ xsync spark-defaults.conf spark-env.sh

5）启动历史服务

[atguigu@hadoop102 spark-standalone]$ 
sbin/start-history-server.sh

6）再次执行任务

[atguigu@hadoop102 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

7）查看Spark历史服务地址：hadoop102:18080

在这里插入图片描述

配置高可用（HA）

1）高可用原理

在这里插入图片描述
2）配置高可用

（0）停止集群

[atguigu@hadoop102 spark-standalone]$ sbin/stop-all.sh

（1）Zookeeper正常安装并启动（基于以前讲的数仓项目脚本）

[atguigu@hadoop102 ~]$ zk.sh start

（2）修改spark-env.sh文件添加如下配置：

[atguigu@hadoop102 conf]$ vim spark-env.sh

#注释掉如下内容：
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077

#添加上如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spark目录，用于管理：
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 
-Dspark.deploy.zookeeper.dir=/spark"

#添加如下代码
#Zookeeper3.5的AdminServer默认端口是8080，和Spark的WebUI冲突
export SPARK_MASTER_WEBUI_PORT=8989

（3）分发配置文件

[atguigu@hadoop102 conf]$ xsync spark-env.sh

（4）在hadoop102上启动全部节点

[atguigu@hadoop102 spark-standalone]$ sbin/start-all.sh

（5）在hadoop103上单独启动master节点

[atguigu@hadoop103 spark-standalone]$ sbin/start-master.sh

在这里插入图片描述

运行流程

Spark有standalone-client和standalone-cluster两种模式，主要区别在于：Driver程序的运行节点。
1）客户端模式

[atguigu@hadoop102 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

- -deploy-mode client，表示Driver程序运行在本地客户端，默认模式。
在这里插入图片描述
2）集群模式

[atguigu@hadoop102 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

- -deploy-mode cluster，表示Driver程序运行在集群。
在这里插入图片描述

Yarn模式

Spark客户端直接连接Yarn，不需要额外构建Spark集群。

安装使用

0）停止Standalone模式下的spark集群

[atguigu@hadoop102 spark-standalone]$ sbin/stop-all.sh
[atguigu@hadoop102 spark-standalone]$ zk.sh stop
[atguigu@hadoop103 spark-standalone]$ sbin/stop-master.sh

1）为了防止和Standalone模式冲突，再单独解压一份spark

[atguigu@hadoop102 software]$ tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/module/

2）进入到/opt/module目录，修改spark-3.1.3-bin-hadoop3.2名称为spark-yarn

[atguigu@hadoop102 module]$ mv spark-3.1.3-bin-hadoop3.2/ spark-yarn

3）修改hadoop配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml，添加如下内容
因为测试环境虚拟机内存较少，防止执行过程进行被意外杀死，做如下配置

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

4）分发配置文件

[atguigu@hadoop102 conf]$ xsync /opt/module/hadoop/etc/hadoop/yarn-site.xml

5）修改/opt/module/spark-yarn/conf/spark-env.sh，添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径

[atguigu@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh
[atguigu@hadoop102 conf]$ vim spark-env.sh

YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop

6）启动HDFS以及YARN集群

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

7）执行一个程序

[atguigu@hadoop102 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

参数：–master yarn，表示Yarn方式运行；–deploy-mode表示客户端方式运行程序
8）查看hadoop103:8088页面，点击History，查看历史页面

在这里插入图片描述

配置历史服务

1）修改spark-default.conf.template名称

[atguigu@hadoop102 conf]$ mv spark-defaults.conf.template spark-defaults.conf

2）修改spark-default.conf文件，配置日志存储路径（写）

[atguigu@hadoop102 conf]$ vim spark-defaults.conf
spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://hadoop102:8020/directory

3）修改spark-env.sh文件，添加如下配置：

[atguigu@hadoop102 conf]$ vim spark-env.sh

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"

# 参数1含义：WEBUI访问的端口号为18080
# 参数2含义：指定历史服务器日志存储路径（读）
# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

配置查看历史日志

为了能从Yarn上关联到Spark历史服务器，需要配置spark历史服务器关联路径。
目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）。

1）修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf
添加如下内容：

spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080

2）重启Spark历史服务

[atguigu@hadoop102 spark-yarn]$ sbin/stop-history-server.sh 

[atguigu@hadoop102 spark-yarn]$ sbin/start-history-server.sh

3）提交任务到Yarn执行

[atguigu@hadoop102 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

4）Web页面查看日志：http://hadoop103:8088/cluster
点击“history”跳转到http://hadoop102:18080/
在这里插入图片描述

运行流程

Spark有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。
yarn-cluster：Driver程序运行在由ResourceManager启动的APPMaster，适用于生产环境。

1）客户端模式（默认）

[atguigu@hadoop102 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

在这里插入图片描述
2）集群模式

[atguigu@hadoop102 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

（1）查看http://hadoop103:8088/cluster页面，点击History按钮，跳转到历史详情页面
在这里插入图片描述
（2）http://hadoop102:18080点击Executors->点击driver中的stdout
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意：如果在yarn日志端无法查看到具体的日志，则在yarn-site.xml中添加如下配置并启动Yarn历史服务器
在这里插入图片描述

<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

在这里插入图片描述

端口号总结

1）Spark查看当前Spark-shell运行任务情况端口号：4040
2）Spark Master内部通信服务端口号：7077 （类比于Yarn的8020/9000端口（RM和NM的内部通信））
3）Spark Standalone模式Master Web端口号：8080（类比于Hadoop Yarn任务运行情况查看端口号：8088）
4）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888）
spark只负责计算，所以没有hadoop中存储数据的端口9870

Tonystark_sunshine
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于访问Spark管理界面hadoop01:8080的相关问题解决
zlashouch的博客
03-07 1784
使用记事本打开C:\Windows\System32\drivers\etc路径下的host文件，查看是否自己的host文件被修改。如果没有下图红框里的内容，根据自己的虚拟机IP地址完成映射就行。当启动Spark集群后，使用jps命令可以看到Hadoop01上启动了Master进程，Hadoop02和Hadoop03上启动了worker进程时，访问Spark管理界面。来查看集群状态时出现报错，显示页面无法访问。
Spark基础（1）——搭建Spark开发环境、UI界面查看spark集群
weixin_54348877的博客
03-24 6692
1.环境前提 1.1已经搭建好hadoop环境 Hadoop环境部署，参考我专栏里Hadoop专栏 1.2我的参考配置环境 Linux系统：CentOS-6.8版本 Hadoop：2.7.4版本 JDK：1.8版本 Spark：2.3.2版本 2.Spark部署 Standalone模式（主从） 2.1下载spark安装包 安装包下载网址： ​​​​​​Downloads | Apache Spark 标1：现在比较稳定的版本为3.2.1。和支持的Hadoop版本 标2、标3：.
spark基本原理&amp；UI界面解读_spark ui，中高级大数据开发面试题目汇总解答
最新发布
2401_84166811的博客
04-15 553
一级入口重点内容executors不同executors之间，是否存在负载倾斜不同executors之间，是否存在负载倾斜storage分布式数据集的缓存级别，内存，磁盘缓存比例SQL初步了解不同执行计划的执行时间，确实是否符合预期jobs初步感知不同jobs的执行时间，确实是否符合预期stage初步感知不同stage的执行时间，确实是否符合预期记录了以action为粒度，记录了每个action作业的情况。
spark基本原理&UI界面解读
qq_43123615的博客
03-16 1683
一级入口重点内容executors不同executors之间，是否存在负载倾斜不同executors之间，是否存在负载倾斜storage分布式数据集的缓存级别，内存，磁盘缓存比例SQL初步了解不同执行计划的执行时间，确实是否符合预期jobs初步感知不同jobs的执行时间，确实是否符合预期stage初步感知不同stage的执行时间，确实是否符合预期记录了以action为粒度，记录了每个action作业的情况。
（三）5：spark UI详解
weixin_43930865的博客
09-21 5642
spark UI详解 清楚的理解spark UI 的各个阶段有助于进行调优和分析定位问题 如何访问：默认ip:8088，在程序启动时也可看到日志中的UI访问地址 1：UI界面 导航栏部分主要分为7大部分 1：job级别的任务执行记录，可看到具体的executor和task执行时间 2：所有stage，stage是按照宽依赖来区分的，因此粒度上要比job更细一些 3 ：storage页面，我们所做的cache persist等操作，都会在这里看到，可以看出来应用目前使用了多少缓存 4： 代表environm
[看图说话] 基于Spark UI性能优化与调试——初级篇
weixin_33982670的博客
02-26 1249
Spark有几种部署的模式，单机版、集群版等等，平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便，只能通过Log的形式进行数据分析，利用spark ui做性能调整和优化。 那么本篇就介绍下如何利用Ui做性能分析，因为本人的经验也不是很丰富，所以只能作为一个入门的介绍。 大体上会按照下面的思路进行讲解： 怎么访问Spark...
【spark-submit】【spark】
wq6qeg88的博客
02-17 901
如果您的代码依赖于其他项目，则需要将它们与应用程序一起打包，以便将代码分发到Spark集群。一旦你有了一个组装好的jar，你就可以在传递你的jar的时候调用这里所示的。它可以通过统一的接口使用所有Spark支持的集群管理器，因此您不必为每个集群管理器配置应用程序。†一个常见的部署策略是从与工作机器物理上位于同一位置的网关机器（例如独立EC2集群中的主节点）提交应用程序。或者，如果您的应用程序是从远离工作机器的机器提交的（例如，在您的笔记本电脑上本地），通常使用。有几个选项是特定于正在使用的集群管理器的。
【Spark】spark笔记
GG(❤ ω ❤)YY
04-12 328
Spark粗略总结，后面会排版更新 1.spark简介 spark是一种专门为大规模数据处理而设计的 快速通用的计算引擎。 2.与mapreduce的对比 spark在计算过程中产生的中间输出结果是保存在内存中的 spark一般情况下比mapreduce快十倍，在迭代计算（机器学习中的逻辑回归）的时候可以快100倍 3.spark速度快的原因 （1）基于内存计算，也就是中间输出...
spark入门课程
11-07
**Spark入门课程** Spark是大数据处理领域中的一款热门开源框架，以其高效、易用和弹性伸缩性著称。本课程旨在为初学者提供全面的Spark知识，涵盖从基础概念到高级特性的深入理解。 首先，我们将从Scala编程语言...
Spark 入门实战系列
01-18
Spark 入门实战系列，适合初学者，文档包括十部分内容，质量很好，为了感谢文档作者，也为了帮助更多的人入门，传播作者的心血，特此友情转贴: 1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建....
初识Spark入门
08-25
初识Spark入门 Spark是一种基于内存的通用并行计算框架，目标是让数据分析更加快速。Spark包含了大数据领域常见的各种计算框架，包括spark core（离线计算）、spark sql（交互式查询）、spark streaming（实时计算...
spark入门培训
08-02
本文档介绍了Spark的简介、原理以及spark的系统架构，还有分别在Linux和windows下的单机配置，以及spark RDD和Spark DataFrame介绍
Spark入门简介
09-30
Apache Spark 是一个强大的分布式计算框架，专为大规模数据处理而设计。Spark 提供了一种快速、通用且可扩展的计算模型，与传统的Hadoop MapReduce相比，它在处理迭代算法和交互式数据挖掘时表现出更高的效率。Spark...
大数据Spark07_SparkShell、SparkUI界面、SparkHA、SparkShuffle、Spark内存管理
yangshaojun1992的博客
11-11 619
在weekend10、weekend11、weekend12节点上启动spark standalone集群 在weekend08、weekend09、weekend10、weekend11、weekend12、weekend13节点上启动hadoop集群 在weekend08节点上上传本地文件 words.txt 到hdfs 的/spark/data 目录下（通过读取创建RDD） 在HDFS
利用ApacheSpark进行数据可视化和交互式界面
禅与计算机程序设计艺术
07-21 3345
作者：禅与计算机程序设计艺术 随着大数据的高速增长、处理量的增加、海量的数据分析需求的出现、智慧城市的兴起等等，对大数据相关技术的应用也越来越火热。在实际生产环境中，如何通过有效地运用数据可视化技术来满足业务决策的需要是一个重要课题。Spark是一种基于内存计算的开源分布式计算框架，可以实现快速、通用的数据分析处理，能够提供低延时的数据查
SparkUI超详细解释（2）——Stages
2301_77818583的博客
04-26 2168
推测的原因是这个stage对应的是以下面的代码，上下两个shuffle的key相同又有一次union all，所以可以放在一个stage中，虽然task数量是4000，但是上面的shuffle数据是分在2000个task中，下面的是另一个2000task中，并不会两者合在一起hash到4000个task中。”下的一些指标上，也可以看到相关信息，或更具体的说明。task的时间线，以条形图+不同颜色的方式描述了各个task的不同动作下的耗时，鼠标浮动到某个条形图上，可以看到该task具体的各项时间。
Spark
weixin_61518174的博客
12-25 653
环境部署： 一、需前置 Hadoop 环境，并检查 Hadoop 环境是否可用，截图并保存结果 1、使用 jps 命令查看集群状态 二、解压 scala 安装包到“/usr/local/src”路径下，并更名为 scala，截图并保存结果 1、进入/h3cu/目录下找到压缩包 cd /h3cu/ 2、解压scala tar -zxvf scala-2.11.8.tgz -C /usr/local/src 3、重命名scala ...
spark：SparkUI界面
九师兄
12-09 2028
前言　　在大型分布式系统中，采用事件监听机制是最常见的。为什么要使用事件监听机制？假如SparkUI采用Scala的函数调用方式，那么随着整个集群规模的增加，对函数的调用会越来越多，最终会受到Driver所在JVM的线程数量限制而影响监控数据的更新，甚至出现监控数据无法及时显示给用户的情况。由于函数调用多数情况下是同步调用，这就导致线程被阻塞，在分布式环境中，还可能因为网络问题，导致线程被长时间占用
Spark 作业执行流程
晓晓的天空
03-14 4355
Spark 作业执行流程
精品课程推荐 大数据与云计算教程课件 优质大数据课程 32.Spark入门之Scala（共173页）.pptx
12-18
特别是其中的`32.Spark入门之Scala（共173页）.pptx`，深入介绍了Scala编程语言，它是Spark的主要编程接口，具有面向对象和函数式编程的特性，并能与Java无缝集成。" 这篇课程旨在帮助学习者全面理解大数据处理的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值