Spark概念及运行模式

最新推荐文章于 2024-07-19 16:04:56 发布
最新推荐文章于 2024-07-19 16:04:56 发布
阅读量828 收藏 25
点赞数 27
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47740650/article/details/139742574
版权

Spark概念

  • 是一个大数据分析计算引擎。
  • 基于内存
  • 快速、通用、可拓展。

Spark & Flink

  • Spark : 离线
  • Flink ： 实时

离线与实时的概念

从数据处理的延迟角度，分为离线与实时

延迟：从开始计算到得到结果中间过程的间隔时间
- 离线：延迟以小时、天为单位（尽量保证在1天之内）
- 实时：延迟以毫秒为单位，即1s之内得到结果，就是实时

Hadoop生态

  1. 早期Hadoop就是一个计算框架

  2. 后来衍生为生态系统
    计算需要数据，大量数据不够存储，于是产生了HDFS

    HDFS（GFS） + MR（MR） + HBase(BigTable)
    hive + Flume

Spark & MR

都是离线的

  • MR：基于goole三篇大数据论文之一。核心思想：把数据打散之后再聚合。基于一次性计算的中心思想设计，不适合迭代式计算

    • 一次性计算：数据源——（Map打散）——>Data——（Reduce聚合）——>目的地

  • hive: MR开发效率低，产生hive框架；但hive虽然用sql语言简化MR，但底层还是MR，运行效率低

  • Spark：因为MR运行效率低，产生Spark。基于MR开发的，改善了MR的中间计算过程，让数据不再罗盘，可以通过内存进行数据传输

    因此 Spark和MR的最大区别在于：

    1. MR基于磁盘文件做计算，Spark基于内存做计算。
    2. MR一次性计算，Spark可迭代式计算
    3. MR基于Java语言；Spark基于Scala语言，函数式语言

Spark弊端：过于依赖内存，且因为数据倾斜，当内存资源较少时，容易出错。只能让运行效率快，但开发效率仍然低。

Spark内置模块

Spark Core

实现Spark基本功能

Spark SQL结构化数据

Spark Streaming实时计算

Spark Milib机器学习 *

SparkGraghX图计算 *

独立调度器

spark自己搭建集群管理资源，因为spark是一个计算框架，对于资源调度方面，yarn更强势

YARN

国内用的较多

Mesos

国外应用较多

spark安装演示

1、地址

  1. 官网地址：http://spark.apache.org/
  2. 档查看地址：https://spark.apache.org/docs/3.3.1/
  3. 下载地址：https://spark.apache.org/downloads.html
    https://archive.apache.org/dist/spark/

2、目录结构

在这里插入图片描述

bin

存储可执行文件

  • .cmd 结尾 Windows系统使用
  • .sh 结尾 Linux系统使用

sbin

运行中以s开头的命令，基本是一些启停命令

conf

存储配置文件
以.template结尾，表示只起到参考作用

data

存储一些模拟数据

example

存放官方案例的源码（src）和 可运行程序（打成了jar包，存放到jars目录下）

jars

spark软件自己用到的jar包

Spark运行模式

运行环境：
spark是一个计算框架，所以计算所需资源，Spark需要依托于其他软件提供

单机环境（local模式）

由当天Spark软件所在节点提供资源（cpu、内存）
运行在一台机器上的模式，本地模式

计算逻辑——通过接口——>spark

案例:

bin/spark-submit
–class org.apache.spark.examples.SparkPi
–master local[2]
./examples/jars/spark-examples_2.12-3.3.1.jar
10

真正启动的是Java虚拟机 spark-submit

–后跟的参数，是一对参数
不同–后的参数可以调整顺序

在任务运行还没有完成时，可登录hadoop102:4040查看程序运行结果

集群环境（YARN模式）

由服务器集群体提供计算资源（cpu、内存）
YARN 提供
启动YARN后，由RM管理，由NodeManager（Java虚拟机进程–4096）启动

  • NM内存：4G
  • NM的cpu核：默认每个NM8个虚拟核
  1. 解压spark到路径/opt/module

tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module/

  1. 进入该目录，修改名字（便于和本地模式区分）

mv spark-3.3.1-bin-hadoop3/ spark-yarn

  1. 修改Hadoop配置文件

vim /opt/module/hadoop/etc/hadoop/yarn-site.xml

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>
  1. 分发配置文件到其他节点

xsync /opt/module/hadoop/etc/hadoop/yarn-site.xml

  1. 修改spark配置文件
    拷贝配置文件并改名

cd /opt/module/spark-yarn/conf/
cp spark-env.sh.tmplate spark-env.sh
vim spark-env.sh

增加内容：

YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop
  1. 启动HDFS和YARN

在namenode节点：sbin/start-dfs.sh
在yarn节点：sbin/start-yarn.sh

  1. 执行一个程序

cd /opt/module/spark-yarn/

bin/spark-submit
–class org.apache.spark.examples.SparkPi
–master yarn
./examples/jars/spark-examples_2.12-3.3.1.jar
10

对比指令： – master后跟的参数不同

集群模式下，spark会先向HDFS上传spark库，然后yarn会下载资源，然后跑程序，最后删除资源。

  1. 查看hadoop作业运行日志
    http://hadoop103:8088/
    hadoop103:8088页面，点击History，查看历史页面
    注意：hadoop集群要开启历史服务后才可以看到

  2. 查看spark作业运行日志
    http://hadoop102:4040/
    注意：只有在进程运行时才可以看到

想在执行完后看到监控界面，需要配置历史服务

配置历史服务

  1. 进入目录

/opt/module/spark-yarn/conf

  1. 拷贝配置文件并改名

cp spark-defaults.conf.template spark-defaults.conf

  1. 修改
    （1） spark-defaults.conf

vim spark-defaults.conf

查看HDFS信息：
http://hadoop102:9870/
在这里插入图片描述
标黄处的端口号是什么，就在配置文件中添加什么

spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://hadoop102:8020/directory

为了能从Yarn上关联到Spark历史服务器，需要配置spark历史服务器关联路径。
目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）。
继续添加：

spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080

在hdfs网页中创建目录directory
在这里插入图片描述
在这里插入图片描述

（2）spark-env.sh

vim spark-env.sh

增加内容：

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"
  • Dspark.history.ui.port：WEBUI访问的端口号为18080
  • Dspark.history.fs.logDirectory：指定历史服务器日志存储路径（读）
  • Dspark.history.retainedApplications：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
  1. 重启当前Spark历史服务
    回到spark-yarn安装目录下

sbin/stop-history-server.sh
sbin/start-history-server.sh

  1. 再次提交任务到YARN执行

  2. 在web端查看日志
    http://hadoop103:8088/cluster
    点击history跳转到spark历史服务界面
    在这里插入图片描述

重点

  1. 计算逻辑
  2. 底层原理
小酱MaaFY
关注
  • 27
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
day01_spark核心概念.pdf
06-01
本文将深入解析Spark的核心概念，包括其历史背景、主要模块、运行模式，以及如何在IDEA中编写Spark程序。 一、Spark的历史与资料 Spark的起源可以追溯到2009年，由加州大学伯克利分校AMPLab开发。它在Apache ...
Spark大数据分析核心概念技术及实践OCR
11-01
《Spark大数据分析核心概念技术及实践OCR》是关于Apache Spark技术的一份详尽指南，它深入探讨了如何利用Spark进行高效的大数据分析。Spark是目前大数据处理领域中的热门框架，以其高性能、易用性和灵活性著称。以下...
Spark概述极其运行模式
2301_80840537的博客
03-04 1342
编程模型：Spark提供了更为灵活的编程模型，支持多种编程语言（如Scala、Java、Python和R），并且提供了丰富的高级API（如Spark SQL、Spark Streaming和MLlib等），使得开发者可以更方便地进行数据处理和分析。3.半结构化数据：就是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，HTML文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。
pythonspark集群模式运行_Spark之运行模式
weixin_39814088的博客
12-06 501
一、local(一)spark-submit在之前的WordCount实例中使用了spark-submit命令提交运行脚本：[root@hadoop-master bin]#./spark-submit --master local[2] --name wordcount /root/hadoopdata/WordCount.py file:////root/hadoopdata/wordcoun...
Spark核心概念释义及基本运行流程
星空的风fly
03-27 3716
一个application包括driver program和executors，一个application应用可以有多个job组成，一个action算子对应一个job，一般而言，程序中有几个action算子就会产生几个job。一个job可以由多个stage组成，一个stage对应多个task，task由dirver发送到各个executor，task运行在executor中，exector以并行的方式执行task。每个Executor独占一个Container
Spark 运行模式与运行流程
Mr.pan felix的专栏
07-12 559
概述 Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce和Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架， 比如: Spark Core用于离线计算 Spark SQL用于交互式查询 Spark Streaming用于实时流式计算 Spark MLlib用于机器学习 Spark GraphX用于图计算 Spark VS MapReduce 这部分由于水平有限，只能转至其他大神的总结 www.cnblogs.com/dea
Spark几种运行模式
曹利荣的博客
06-04 3454
spark应用执行机制分析前段时间一直在编写指标代码，一直采用的是--deploy-mode client方式开发测试，因此执行没遇到什么问题，但是放到生产上采用--master yarn-cluster方式运行，那问题就开始陆续暴露出来了。因此写一篇文章分析并记录一下spark的几种运行方式。1.spark应用的基本概念spark运行模式分为：Local(本地idea上运行)，Standalon...
Spark 基本架构及运行原理
热门推荐
12-08 3万+
Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Mesos等资源管理框架。 与Hadoop MapReduce计算框架相比，Spark所采用的Executor有两个优点：一是利用多线程来执行具体的任务（Hadoop MapReduce采用的是进程模型），减少任务的启动
spark 不同模式用途_Spark 多种运行模式介绍
weixin_39757122的博客
12-23 111
本文介绍Spark 的local，standalone，client和cluster运行模式之前搞过一段时间spark，最近一段时间没有搞了，连一些基本概念都忘了，现在补充一下，以防忘记。当前Spark支持的运行模式有local 本地运行模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。standalone 该方式适用master和worker进程...
Spark 基础概念
qq_49948651的博客
03-13 2223
Spark1. Spark基础概念1.1 Spark概述1.2 Spark 四大特点运行速度快1.3 Spark 框架1.4 Spark 运行模式集群模式1.5 spark-shell1.6 Spark Application程序1.6 Spark Standalone集群模式 介绍Standalone架构程序执行阶段单点故障（SPOF）问题2. Spark运行过程2.1 WordCount代码入门2.2 WordCountTopKey 代码2.3 部署模式DeployMode在Standalone集群中部
Spark三种运行模式详解和实例
子浩的博客
12-16 1万+
1.安装spark，并启动spark-shell；分别用local/standalone/yarn模式运行workcount。 截取spark-UI执行进度。 2)截取执行成功后输出的结果。 3)Spark on yarn模式，截取8088端口页面的截图。 Local模式： standalone模式： yarn模式 2.请对Spark的RDD做简要的概述。 RDD 是 Sp...
spark yarn模式的搭建.docx
06-15
Spark On Yarn 是一个在 Apache Hadoop YARN（Yet Another Resource Negotiator）资源管理器上运行 Apache Spark 应用程序的框架。这种模式允许 Spark 利用 Hadoop 的集群资源管理和调度能力，使得 Spark 能够更好地...
Spark及pyspark的操作应用.pdf
12-09
Spark是Apache Hadoop生态系统...总结，Spark和PySpark提供了一种高效处理大数据的途径，支持多种运行模式，并且与Hadoop生态系统紧密集成。通过理解这些基本操作和编程概念，开发者能够构建强大的分布式数据处理应用。
《Spark编程基础及项目实践》试卷及答案2套.pdf
04-04
【Spark编程基础及项目实践】试卷涉及的知识点涵盖了Spark的核心概念、大数据处理、Scala语言基础以及Spark的部署和运行模式。以下是对这些知识点的详细解释： 1. **大数据的特征**：大数据通常具有Volume（大量）...
Spark Streaming
2301_77836489的博客
07-19 257
Spark Streaming
java.sql.SQLException: Unknown system variable ‘query_cache_size‘【Pyspark】
weixin_51744807的博客
07-15 512
位置：E:\programfiles\anaconda\Lib\site-packages\pyspark\jars（这里根据各自的环境安排）根据该报错，发现网络上多数解决方都是基于java开发的解决方案，尝试过多种jar配置途径，都没办法解决该问题。首先产生该问题是没有配置合适的jar包，因此需要在本机的pyspark包中配置相关jar。后续发现时jar包有问题，通过参考其他文章思路，最终通过合适的jar包解决问题。的格式并提交到本地的mysql中，相关代码见文章末尾。的所以jar包一般用最新的即可。
spark shell
最新发布
m0_74934794的博客
07-19 105
2.1.1读取linux文件系统的文件创建RDD。2.1.2读取hdfs文件系统上的文件创建RDD。--需要保证每一个worker中都有该文件。--过滤数据,保留每行中含有hello的数据。2.2使用Parallelize创建RDD。2.3从其他的RDD中创建新的RDD。--对RDD中的数据进行过滤操作。--统计RDD中的数据记录表。2.1 读取文件创建RDD。--读取RDD的第一条数据。4.实现wordcount。1.进行shell命令行。3.对RDD进行操作。--读取中的N条数据。
从数据湖到湖仓一体：统一数据架构演进之路
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
07-17 1301
本文详细探讨了从数据湖到湖仓一体的演进过程及其在现代数据管理中的重要性。湖仓一体由Databricks于2020年提出，旨在融合数据湖和数据仓库的优势，通过无缝集成，实现数据存储和管理的统一架构。 湖仓一体的出现主要是为了降低成本和解决数据孤岛问题。传统的数据湖和数据仓库各自独立建设，导致重复投资和数据管理上的困难，而湖仓一体通过简化基础架构、提升数据存储弹性和质量，有效减少了这些问题。
Spark入门：核心概念与运行模式解析
"Spark基础入门" Apache Spark 是一个用于大规模数据处理的开源计算框架，由加州大学伯克利...通过理解Spark的基本概念、运行模式以及它在大数据生态中的角色，开发者可以更好地利用Spark来解决各种数据密集型问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值