Apache-Spark3.2.1安装

已于 2022-06-07 11:43:43 修改
阅读量1.8k 收藏 5
点赞数
分类专栏： 大数据相关应用部署 文章标签： apache spark scala hadoop 大数据
于 2022-06-06 14:06:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48671620/article/details/125145486
版权

文章目录

Spark安装须知

Spark官方下载地址：Spark下载地址
注意：选择正确的Spark版本，这里Hadoop版本为3.3.3，对应版本软件包为spark-3.2.1-bin-hadoop3.2.tgz。
在这里插入图片描述

*Yarn模式安装需提前安装Hadoop集群，安装手顺参考：Apache-Hadoop3.3.3集群安装

1.Local 模式

Local 模式，就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学，调试，演示等。

1.1 解压缩文件

将 spark安装包文件上传到 Linux 并解压缩，放置在指定位置。

tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz -C /opt/soft
cd /opt/soft
mv spark-3.2.1-bin-hadoop3.2/ spark-3.2.1-local

1.2 启动 Local 环境

（1) 进入解压缩后的路径，执行如下指令

[root@node01 spark-3.2.1-local]# bin/spark-shell
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
22/06/06 12:53:37 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Spark context Web UI available at http://node01:4040
Spark context available as 'sc' (master = local[*], app id = local-1654491218662).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 3.2.1
      /_/

Using Scala version 2.12.15 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_261)
Type in expressions to have them evaluated.
Type :help for more information.

scala>
  1. 启动成功后，可以输入网址进行 Web UI 监控页面访问

http://node01:4040

![image.png](https://img-blog.csdnimg.cn/img_convert/8b20f7debdd861c4acfbc00c844ecf3d.png#clientId=uef3f7261-c79d-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=606&id=uba0a9e0c&margin=[object Object]&name=image.png&originHeight=757&originWidth=1920&originalType=binary&ratio=1&rotation=0&showTitle=false&size=48357&status=done&style=none&taskId=u2abf4a41-11e8-4cc5-97f0-426c086d181&title=&width=1536)

1.3 命令行工具

在解压缩文件夹下的 data 目录中，添加 word.txt 文件。在命令行工具中执行如下代码指令。

[root@node01 data]# touch word.txt
[root@node01 data]# echo "hello spark" > word.txt

scala> sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res0: Array[(String, Int)] = Array((hello,1), (spark,1))

1.4 提交应用

[root@node01 spark-3.2.1-local]# bin/spark-submit \
> --class org.apache.spark.examples.SparkPi \
> --master local[2] \
> ./examples/jars/spark-examples_2.12-3.2.1.jar \
> 10
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
22/06/06 13:04:23 INFO SparkContext: Running Spark version 3.2.1
...
22/06/06 13:04:23 INFO Utils: Successfully started service 'SparkUI' on port 4040.
22/06/06 13:04:23 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://node01:4040
22/06/06 13:04:23 INFO SparkContext: Added JAR file:/opt/soft/spark-3.2.1-local/examples/jars/spark-examples_2.12-3.2.1.jar at spark://node01:39994/jars/spark-examples_2.12-3.2.1.jar with timestamp 1654491863010
22/06/06 13:04:24 INFO Executor: Starting executor ID driver on host node01
....
22/06/06 13:04:25 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 0.637438 s
Pi is roughly 3.142031142031142
....

参数说明：
（1) --class 表示要执行程序的主类；
（2) --master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟CPU 核数量；
（3) spark-examples_2.12-3.0.0.jar 运行的应用类所在的 jar 包；
（4) 数字 10 表示程序的入口参数，用于设定当前应用的任务数量。

2.Yarn 模式

Standalone模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。Spark主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项。Spark与专业的资源调度框架集成会更靠谱，因为在国内工作中Yarn 使用的非常多，所以主要是基于Yarn搭建Spark运行环境。

2.1 解压缩文件

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 linux 并解压缩，放置在指定位置。

tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz -C /opt/soft
cd /opt/soft
mv spark-3.2.1-bin-hadoop3.2/ spark-3.2.1-yarn/

2.2 修改配置文件

(1) 修改 hadoop 配置文件, 并分发

vim /opt/soft/hadoop-3.3.3/etc/hadoop/yarn-site.xml

    <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>

    <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

ssh_do_scp.sh ~/bin/node.list /opt/soft/hadoop-3.3.3/etc/hadoop/yarn-site.xml /opt/soft/hadoop-3.3.3/etc/hadoop/

(2) 修改 conf/spark-env.sh，添加 JAVA_HOME 和 YARN_CONF_DIR 配置

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

export JAVA_HOME=/opt/soft/jdk1.8.0_261
YARN_CONF_DIR=/opt/soft/hadoop-3.3.3/etc/hadoop

2.3 提交应用

启动 HDFS 以及 YARN 集群, 提交应用到yarn。

[root@node01 spark-3.2.1-yarn]# bin/spark-submit \
> --class org.apache.spark.examples.SparkPi \
> --master yarn \
> --deploy-mode cluster \
> ./examples/jars/spark-examples_2.12-3.2.1.jar \
> 10
2022-06-06 13:38:37,992 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2022-06-06 13:38:38,080 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at node02/192.168.31.102:8032
...
2022-06-06 13:38:48,322 INFO yarn.Client: Submitting application application_1654493828584_0001 to ResourceManager
2022-06-06 13:38:48,711 INFO impl.YarnClientImpl: Submitted application application_1654493828584_0001
2022-06-06 13:38:49,718 INFO yarn.Client: Application report for application_1654493828584_0001 (state: ACCEPTED)
2022-06-06 13:38:49,722 INFO yarn.Client:
         client token: N/A
         diagnostics: AM container is launched, waiting for AM container to Register with RM
         ApplicationMaster host: N/A
         ApplicationMaster RPC port: -1
         queue: default
         start time: 1654493928432
         final status: UNDEFINED
         tracking URL: http://node02:8088/proxy/application_1654493828584_0001/
         user: root
2022-06-06 13:38:50,726 INFO yarn.Client: Application report for application_1654493828584_0001 (state: ACCEPTED)
2022-06-06 13:38:51,729 INFO yarn.Client: Application report for application_1654493828584_0001 (state: RUNNING)
2022-06-06 13:38:55,745 INFO yarn.Client:
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: node01
         ApplicationMaster RPC port: 37882
         queue: default
         start time: 1654493928432
         final status: UNDEFINED
         tracking URL: http://node02:8088/proxy/application_1654493828584_0001/
         user: root
report for application_1654493828584_0001 (state: FINISHED)
2022-06-06 13:39:07,807 INFO yarn.Client:
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: node01
         ApplicationMaster RPC port: 37882
         queue: default
         start time: 1654493928432
         final status: SUCCEEDED
         tracking URL: http://node02:8088/proxy/application_1654493828584_0001/
         user: root
2022-06-06 13:39:07,818 INFO util.ShutdownHookManager: Shutdown hook called
2022-06-06 13:39:07,819 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-3515b475-3558-42e3-bbfc-89c56a10bc6f
2022-06-06 13:39:07,821 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-1f7e03ac-815f-4a16-904e-c6fb64b8d683

查看 http://node02:8088 页面，点击 History，查看历史页面
在这里插入图片描述
在这里插入图片描述

2.4 配置历史服务器

cd /opt/soft/spark-3.2.1-yarn/conf

(1) 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

配置日志存储路径

vim spark-defaults.conf

spark.eventLog.enabled true 
spark.eventLog.dir hdfs://node01:8020/sparkHistory
spark.yarn.historyServer.address=node01:18080 
spark.history.ui.port=18080

注意：需要启动hadoop 集群，HDFS上的目录需要提前存在。

[root@node01 conf]# hadoop fs -mkdir  /sparkHistory
[root@node01 conf]# hadoop fs -ls /
Found 3 items
drwxr-xr-x   - root supergroup          0 2022-06-06 13:47 /sparkHistory
drwx------   - root supergroup          0 2022-06-02 11:46 /tmp
drwxr-xr-x   - root supergroup          0 2022-06-06 13:38 /user

(3) 修改 spark-env.sh 文件, 添加日志配置

vim spark-env.sh

export SPARK_HISTORY_OPTS=" 
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://node01:8020/sparkHistory 
-Dspark.history.retainedApplications=30"

参数 1 含义：WEB UI 访问的端口号为 18080
参数 2 含义：指定历史服务器日志存储路径
参数 3 含义：指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

(4) 启动历史服务

[root@node01 spark-3.2.1-yarn]# sbin/start-history-server.sh
starting org.apache.spark.deploy.history.HistoryServer, logging to /opt/soft/spark-3.2.1-yarn/logs/spark-root-org.apache.spark.deploy.history.HistoryServer-1-node01.out

(5) 重新提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.2.1.jar \
10

在这里插入图片描述

（6) Web 页面查看日志：http://node02:8088
在这里插入图片描述
在这里插入图片描述

3 总结

（1）各种部署模式对比：
在这里插入图片描述

（2）端口号说明：
Spark 查看当前 Spark-shell 运行任务情况端口号：4040（计算）
Spark 历史服务器端口号：18080
Hadoop YARN 任务运行情况查看端口号：8088

非晚の
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
presto-spark-core 升级到spark 3.2.1
weixin_40455124的博客
04-11 1440
presto-spark-core 是presto on spark需要的spark core的打包，源码地址：https://github.com/prestodb/presto-spark-core 核心其实就一个pom.xml 从这个pom.xml 可以看到presto 0.272 对应的spark 是2.0.2 ，scala 是2.11 ，对应部分如下： <properties> <project.build.sourceEncoding>UTF-8<
大数据应用之 --- spark 3.2.1 集群安装部署
qq_41187116的博客
07-16 938
大数据应用之 --- spark3.2.1
Apache Spark 入门指南：概述、安装、使用及RDD基础
qq_64355981的博客
06-20 1926
Apache Spark 是一个快速且通用的大规模数据处理引擎。它提供了一个易于使用的编程模型，支持Java、Scala、Python和R等多种编程语言。Spark 能够高效地处理各种数据，包括批量数据和实时数据流。在Spark中，RDD（Resilient Distributed Dataset）提供了多种算子来处理数据。这些算子分为两类：转换（Transformations）和行动（Actions）。
Spark3.2.1集群安装
FLY的博客
06-11 792
spark spark3.2.1集群安装 hadoop
apache-dolphinscheduler-3.2.0集群部署
11-17 831
DolphinScheduler 是一个分布式的开源调度系统，它提供了一种可视化、可扩展、高可用的任务调度和数据处理方案。3.2、修改dolphinscheduler_env.sh配置。一、apache-dolphinscheduler介绍。三、apache-dolphinscheduler配置。四、apache-dolphinscheduler安装。3.1、修改install_env.sh配置。4.2、执行stop-all.sh。4.1、执行install.sh。4.8、node4节点。
老弟手把手教你编译Spark3.2.1源码！！！！！
一个有趣的人，咱们处处看！
10-21 752
一年多没更新博客了，这一年博主经历了很多，也学到了很多，近期会持续更新文章，主题不固定，哦，对了，博主跟几个朋友一起创建了一个大数据的技术社区，我们每周都会有技术分享以及技术交流的会议，目前社区人数高达800+，感兴趣的朋友可以扫描上方的二维码关注下社区的公众号，同时也可以添加博主的VX，邀你进群咱们一起交流啊！
大数据-玩转数据-Spark分布式安装
s_unbo的博客
12-21 482
大数据-玩转数据-Spark分布式安装 说明： 之前已经安装配置过了 Hadoop 的 hdfs，yarn 分布式集群，在此基础上进行spark的安装（基于jvm，可以不安装scala） 1.安装spark 1.1下载Spark安装包： 去官网下载 ： Download Spark: spark-2.1.1-bin-hadoop2.6.tgz 下载地址：http://spark.apache.org/downloads.html 1.2上传解压： 在上传目录下 [root@hadoop1 ]# tar -z
手把手带你玩转Spark机器学习-Spark的安装及使用
分享人工智能学习心得与实践经验，探讨应用场景，见证变革与进步
05-02 7241
本文首先介绍了Spark的基础知识以及RDD和DataFrame这些核心概念，然后演示了如何下载Spark二进制版本并搭建一个本地单机模式下的开发环境，最后通过Python语言来编写第一个Spark程序。
Spark安装
赶圩归来阿理理
05-26 232
Spark安装
Docker 化部署 Apache Spark
禅与计算机程序设计艺术
08-06 853
15年7月，Apache基金会宣布开源了Spark项目，这标志着基于内存计算的大数据处理技术进入了一个全新的阶段。由于Spark的分布式架构特性，使其具有极高的可扩展性和容错性。因此，越来越多的公司、组织和个人开始使用Spark作为分析平台进行大数据的分析处理。同时，Spark也已经成为开源领域里非常流行的一个项目。在生产环境中，部署Spark的方式通常采用集群部署模式，即将集群中的各个节点配置成一个整体，形成统一的计算资源池。这种方式的优点是简单、灵活，能够适应各种业务场景；
spark-3.2.1 安装包 下载 hadoop3.2
04-03
在安装Spark 3.2.1时，`spark-3.2.1-bin-hadoop3.2-scala2.13.tgz`这个压缩包包含所有必要的组件和依赖项。Scala 2.13是Spark的开发语言，因此需要匹配版本的JDK环境。解压后，你可以配置环境变量，如SPARK_HOME，...
spark-3.2.1-bin-hadoop2.7.tgz
02-20
这个名为"spark-3.2.1-bin-hadoop2.7.tgz"的压缩包是Spark的一个特定版本，即3.2.1，与Hadoop 2.7版本兼容。在Linux环境下，这样的打包方式方便用户下载、安装和运行Spark。 Spark的核心设计理念是快速数据处理，...
spark-3.2.1 安装包 集成 hadoop2.7
04-03
2. 解压下载的`spark-3.2.1-bin-hadoop2.7.zip`文件，得到Spark的安装目录。 3. 配置Spark环境变量，将Spark的bin目录添加到PATH中，以便于命令行操作。 4. 根据实际的Hadoop集群配置，调整Spark的配置文件（如`conf...
spark-3.2.1 不集成hadoop安装包
04-03
在描述中，"spark-3.2.1-bin-without-hadoop"进一步确认了这是一个不包含Hadoop的二进制发行版。"bin"表明这是可以直接运行的二进制文件，通常包括Spark的核心库、可执行文件以及必要的配置文件，用户可以下载后直接...
apache-dolphinscheduler-3.2.1-src.tar.gz、bin.tar.gz
05-15
在这个场景中，我们有两个压缩包文件："apache-dolphinscheduler-3.2.1-src.tar.gz" 和 "apache-dolphinscheduler-3.2.1-bin.tar.gz"。 1. **Apache DolphinScheduler源码包（apache-dolphinscheduler-3.2.1-src....
Apache2服务介绍
m0_56363537的博客
07-23 1325
互联网上排名第一的 HTTP 服务器，Apache HTTP 服务器项目致力于开发和维护适用于现代操作系统（包括 UNIX 和 Windows）的开源 HTTP 服务器。该项目的目标是提供安全、高效且可扩展的服务器，该服务器提供与当前 HTTP 标准同步的 HTTP 服务。Apache HTTP 服务器（centos中命名为httpd）于 1995 年推出，自 1996 年 4 月以来一直是互联网上最受欢迎的 Web 服务器。2020 年 2 月，它作为一个项目迎来了 25 岁生日。
Apache Filnk----入门
xd__xy的博客
07-23 847
无界数据流:有定义流的开始，但没有定义流的结束;它们会无休止的产生数据:无界流的数据必须持续处理，即数据被摄取后需要立刻处理我们不能等到所有数据都到达再处理，因为输入是无限的。有界数据流:有定义流的开始，也有定义流的结束:有界流可以在摄取所有数据后再进行计算:有界流所有数据可以被排序，所以并不需要有序摄取:有界流处理通常被称为批处理。
Apache Dubbo：分布式服务框架的深度解析
最新发布
Aaron_945的博客
07-24 742
同时，Dubbo 提供了丰富的服务治理功能，如负载均衡、集群容错、服务注册与发现等，为构建稳定、可靠、可扩展的分布式系统提供了有力支持。Dubbo 对注册中心的依赖，虽然简化了服务发现的复杂度，但也增加了系统的外部依赖和维护成本。但总的来说，随着微服务架构的日益普及，Dubbo 凭借其强大的功能和良好的性能，在分布式系统构建中仍然具有广泛的应用前景。服务提供者负责发布服务到注册中心，服务消费者从注册中心订阅服务，注册中心负责服务的注册与发现，监控中心则负责统计服务的调用次数和调用时间等。
libffi-dev 3.2.1 下载
06-25
libffi-dev 3.2.1 是一个开源的软件包，主要用于在不同系统和编译器之间动态地调用函数。它是一个非常重要的工具库，被广泛应用于很多软件中。 如果你想下载libffi-dev 3.2.1，可以去官网或者Github上进行下载。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值