spark理论知识

已于 2024-05-12 16:02:01 修改
阅读量1.4k 收藏 40
点赞数 52
文章标签： spark 大数据 分布式
于 2024-03-04 17:38:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2202_75301088/article/details/136457879
版权

目录

1.什么是spark

2.认识spark的生态圈

3.MapReduce与spark的对比

4.什么是结构化数据与非结构化数据

5,  Spark三种运行模式：standalone，YARN和Mesos

6,spark应用场景

7,spark运行架构和原理

8，Stage划分的依据是

9，怎么定义一个Task？

1.什么是spark

Spark官网   https://spark.apache.org/

Apache Spark™ is a multi-language engine for executing data engineering, data science, and machine learning on single-node machines or clusters

意思大概是：Spark是一种快速，通用，可扩展的大数据分析引擎

其特点有快速，易用，通用，随处运行，代码简洁

2.认识spark的生态圈

  1. Spark Core ：spark的核心，提供底层框架以及核心支持
  2. BlinkDB：一个用于再海量数据上进行交互式SQL查询的大规模并行查询引擎
  3. Spark SQL ：可以执行SQL查询，支持基本的SQL语法和hiveQL语法，可读取的数据源包括Hive，HDFS，关系数据库等
  4. SparkStreaming：可以进行实时数据流式计算。
  5. MLbase:专注于机器学习领域，由MLlib,MLl,ML Optimizer和 MLRuntime
  6. GraphX :内置许多与图相关的算法
  7. SparkR： 使得R语言编写的程序不只可以在单机运行，也可以作为spark的作业运行在集群上，极大提升了R语言的数据处理能力
3.MapReduce与spark的对比
  1. 基本原理上

MapReduce基于磁盘的大数据批量处理系统

Spark基于RDD（弹性分布式数据集）数据处理，显示的将RDD数据存储到磁盘和内存中

  1. 模型上

MapReduce可以处理超大规模数据，适合日志分析挖掘等较少的迭代的长任务需求。很好的结合了数据分布式的存储和分布式的计算。

Spark数据的挖掘，机器学习等多伦迭代式的计算任务

  1. 通用性上

Spark：一栈式，主要说的是，Spark不仅仅可以进行离线计算(SparkCore)，同时还可以进行流式处理(SparkStreaming)、交互式计算(SparkShell,SparkSQL，StructStreaming，图计算(SparkGraphx),机器学习(SparkMLLib),也就是说我们可以在一个项目中，同时可以使用上述所有的框架，这是Spark相比较于其它框架最大的优势。可以使用多中语言进行编程

MapReduce：要是擅长离线的计算,不擅长实时计算

4.什么是结构化数据与非结构化数据

结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。
一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。（简单来说就是有行有列）
如mysql数据库中的数据、csv文件

非结构化数据是指信息没有一个预先定义好的数据模型或者没有以一个预先定义的方式来组织。非结构化数据一般指大家文字型数据，但是数据中有很多诸如时间，数字等的信息。相对于传统的在数据库中或者标记好的文件，由于他们的非特征性和歧义性，会更难理解。
文本、图片、音频/视频信息等等

5,  Spark三种运行模式：standalone，YARN和Mesos

Standalone：独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统

Yarn：一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序相当于运行于操作系统之上的应用程序

Mesos：Mesos是一个集群管理平台。 可以理解为是一种分布式系统的kernel， 负责集群资源的分配， 这里的资源指的是CPU资源， 内存资源， 存储资源， 网络资源等。 在Mesos可以运行Spark， Storm， Hadoop， Marathon等多种Framework（框架）。

6,spark应用场景

（1）在数据科学应用中 ，数据工程师可以利用Spark进行数据分析与建模

（2）在数据处理应用中，大数据工程师将Spark技术应用于广告、报表、推荐系统等业务中

  1. Spark拥有完整而强大的技术栈，如今已吸引了国内外各大公司的研发与使用，淘宝技术团队使用Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等问题，应用于商品推荐、社区发现等功能。

例：腾讯，雅虎，阿里巴巴等

Spark的概念、特点、应用场景_spark应用场景-CSDN博客

7,spark运行架构和原理

spark架构

spark工作流程

当一个spark应用被提交时，根据提交参数在相应的位置创建driver进程。

 Driver进程启动后，会初始化sparkContext对象，会找到集群master进程，对spark应用程序进行注册

 当master收到spark程序的注册申请之后，会发送请求给worker,进行资源的调度和分配

 worker收到master的请求后，会为spark应用启动executor进程，会启动一个或多个  executor,具体启动多少个，根据配置来启动

 executor启动之后，会向Driver进行反注册，这样Driver就知道哪些executor为它服务了

 Driver会根据我们对RDD定义的操作，提交一堆的task去Executor上执行，task里面执行的就是具体的map、flatMap这些操作

spark的基本概念

DriverProgram（驱动器）：运行main()方法并创建SparkContext的进程

ClusterManager(也叫master集群管理器) ：用于在集群上申请资源的外部服务

workerNode(工作节点)：集群上运行应用程序代码的任意节点

executor(执行器)：在集群工作节点上为某个应用启动的工作进程，该进程负责运行计算任务，并为应用程序存储数据

job(作业) 一个并行计算作业，由一组任务组成，并由spark的行动（action）算子（save、collect）触发启动，每个Job会根据RDD的宽依赖关系被切分很多Stage，每个Stage中包含一组相同的Task

stage(阶段) 每个job会被分为多个stage，每个stage是由一组并行的task组成的，stage的划分依据就是看是否产生了shuflle(宽依赖)，遇到一个shuflle操作就会划分为前后两个stage

task:执行器的工作单元

一个Application由一个Driver和若干个Job构成，一个Job由多个Stage构成，一个Stage由多个没有Shuffle关系的Task组成。

————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

                       

原文链接：Spark 运行架构与原理_简述spark架构及工作原理-CSDN博客

8，Stage划分的依据是

Spark Stage划分，就是从最后一个RDD往前推算，遇到窄依赖（NarrowDependency）就将其加入该Stage，当遇到宽依赖（ShuffleDependency）则断开

9，怎么定义一个Task？

Spark中的Task主要信息包括 Stage、Partitioner、TaskContext等这些Spark Core的概念，不包括RDD和用户的编程逻辑代码。Driver通过Broadcast把RDD广播给所有的Executor，通过Endpoint把Task点对点的发送到指定的Executor

画画好难.
关注
Spark理论
谁说大象不能跳舞
03-27 266
exector都是装载在container里运行，executor分配的内存是executor-memory,像Yarn申请的内存是（executor-memory+1）*num-executors. AM在Spark中叫driver，AM像RM申请的是executor资源，当分配完后，executor启动，由spark的AM向executor分配task，分配task、分配到哪个executor...
spark理论体系思维导图（用一张图了解spark）
鹿西西吧的博客
04-23 2309
简述Spark生态的组成及其相关组件的作用。 答：spark生态组成的主要组件以及组件的作用分别是： (1)spark core: 它是spark最基础，最核心的功能组件，是一种大数据分布式处理框架，建立在RDD之上，主要面向批处理，spark core负责如内存计算，任务调度，部署模式，故障恢复，存储管理等功能。它不仅实现了MapReduce的map函数和reduce函数及计算模型，还提供更多的其他算子。 (2) spark SQL： 该组件用于结构化数据处理，建立在Spark和Hive基础之上的数据仓.
Spark 理论
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
05-26 3952
目录 1、Spark有几种部署方式？（重点） 2、Spark提交作业参数（重点） 3、简述Spark on yarn的作业提交流程（重点） 4、请列举Spark的transformation算子（不少于5个）（重点） 5、请列举Spark的action算子（不少于5个）（重点） 6、简述Spark的两种核心Shuffle（重点） 7、简述SparkSQL中RDD、DataFrame、DataSet三者的区别与联系?（重点） 8、Repartition和Coalesce关系与区别（重点） 9
1.5.1 Spark（理论）
寒暄的博客
03-21 381
总目录:https://www.jianshu.com/p/e406a9bc93a9 Hadoop - 子目录：https://www.jianshu.com/p/9428e443b7fd Spark概述 Spark的起源 Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 Spark的...
Spark理论学习
sinat_42283378的博客
09-27 1262
sparkAPI @zhouhonglin 1.RDD 弹性分布式数据集: RDD是由多个partition组成 最小单位是partition:与读取的block是一一对应的. 有多少个block就有多少个partion. 算子就是函数:作用再rdd的partition上的. 对弹性的理解:某个RDD损坏了,可以进行恢复.他们直接有依赖关系 分区器是作用在kv格式RDD上很难理解 partition提供数据计算的最佳位置,利用数据处理的本地化 计算移动,数据不移动 2.相关问题: 1. 什么是KV格式的
Spark理论知识
JA0000的博客
08-29 493
文章目录Spark简介spark特点Spark与MapReduceSpark体系Spark核心概念RDDRDD的依赖关系RDD的Stage划分RDD的算子Spark的任务调度Spark on Yarn-clientSpark on Yarn-clusterSpark SQL概述DatasetRDD与datasetSpark SQL vs HiveSpark StreamingSpark Streaming vs StormStructured StreamingSpark扩展 Spark简介 2009年诞生
Spark理论和PySpark.pdf
01-22
Spark理论和PySpark是大数据处理领域的重要主题，涉及到Apache Spark框架以及其Python接口PySpark。Spark是一个用于大规模数据处理的高性能计算框架，它提供了一种快速、通用且可扩展的方式来处理数据。以下是关于...
spark考试练习题含答案.rar
06-22
《Spark大数据处理实战练习题详解》 Spark作为大数据处理领域的重要工具，因其高效、易用的特性备受开发者青睐...在解决每个问题的过程中，不仅能够巩固理论知识，还能锻炼实际操作能力，更好地应对大数据处理的挑战。
计算机毕业设计Python+SparkML知识图谱新闻推荐系统.zip
12-31
同时，这个项目也是学习人工智能和算法推荐的好案例，通过实践，学生可以更好地掌握理论知识，并将其转化为解决实际问题的能力。 总的来说，"计算机毕业设计Python+SparkML知识图谱新闻推荐系统"是一个综合性的项目...
Spark知识点
takeuherat的博客
02-16 314
Spark知识点 1.Spark的使用场景 Spark官网给出的说法：Spark是一个通用的快速分析引擎。Spark为我们常见的批处理、流处理、数据探索(数据挖掘)、机器学习等场景提供了很好的解决方案，任何有数据分析需求的人都可以使用。 2.“三架马车” 从 2003 年到 2006 年，Google 分别在 ODSI 与 SOSP 发表了 3 篇论文，引起了业界对于分布式系统的广泛讨论，这三篇论文分别是： SOSP2003：The Google File System； 分布式文件
Spark理论部分
DanyYan的博客
11-05 278
一、spark简介      spark是AMP实验室开发的通用内存并行计算框架，使用scala语言实现的。运行速度快，易用性好，通用性强等特点，spark是在借鉴了MapReduce之上发展而来的，继承了其分布式并行计算的优点并改进了MapReduce明显的缺陷，如果说MapReduce是第一代并行计算框架的话，那么Spark就是第二代了。 具体区别主要有以下几点： Spark把中间数据放...
大数据系列——Spark理论
mql007007的博客
04-26 1360
Apache Spark，全称伯克利数据分析栈，是一个开源的基于内存的通用分布式计算引擎，内部集成大量的通用算法，包括通用计算、机器学习、图计算等，用于处理大数据应用。主要由下面几个核心构件组成，具体包括：集群资源管理器(Muster Node）、任务控制节点(Driver)、任务执行节点(Worker Node)。其中集群资源管理器可自由集成其他管理器（例如Yarn、Mesos、K8s等），目前一般主流生产环境都搭载在Yarn上运行。
大数据-spark：spark理论
sxj的专栏
10-06 726
一、spark的运行架构包括集群资源管理器Cluster Manager（standalone：spark自带的、Yarn、Messos）、运行作业的工作节点（Worker Node）、每个应用的任务控制节点（Driver Program简称Driver）、每个工作节点上负责具体任务的执行进程（Executor）。spark采用的是主从架构，包含一个主节点Master（即Driver）和若干个从节...
Spark原理详解
cjmn1168的博客
09-10 236
Hadoop存在缺陷： 基于磁盘，无论是MapReduce还是YARN都是将数据从磁盘中加载出来，经过DAG，然后重新写回到磁盘中 计算过程的中间数据又需要写入到HDFS的临时文件 这些都使得Hadoop在大数据运算上表现太“慢”，Spark应运而生。 Spark的架构设计： ClusterManager负责分配资源，有点像YARN中ResourceManager那个角色，大管家握有所有的干活的资源，属于乙方的总包。 WorkerNode是可以干活的节点，听大管家ClusterM..
Spark理论开山篇（一）
独行侠梦的博客
03-02 295
一句话理解Spark是什么 spark是一个基于内存计算的框架，是一种通用的大数据快速处理引擎。 spark的版本支持情况 本文基于Spark2.3.1做阐述说明。 spark的特点 内存计算运行速度快 当然说它快，总要有个对比项，这里是基于和Hadoop的MapReduce来对比，由Spark是基于内存，所以它的计算速度可以达到MapReduce\Hive的数倍甚至数十倍高。 灵活...
Spark学习二：spark基础理论知识
patrick_big_data的博客
02-21 739
文章目录Spark生态系统Components （组件）Glossary（术语表）deploy mode中cluster和client的区别Spark和Hadoop作业之间的区别MapReduce的task进程模型和Spark的task的线程模型MapReduce的task多进程模型Spark的task的多线程模型优劣势对比参考网址 Spark生态系统 Spark Core： Spark Co...
spark基础理论及优化思路(三)
weixin_48978790的博客
04-07 1207
DStream以及基本⼯作原理？ DStream是spark streaming提供的⼀种⾼级抽象，代表了⼀个持续不断的数据流。DStream可以通过输⼊数据源来创建，⽐如 Kafka、flume等，也可以通过其他DStream的⾼阶函数来创建，⽐如map、reduce、join和window等。 DStream内部其实不断产⽣RDD，每个RDD包含了⼀个时间段的数据。 Spark streaming⼀定是有⼀个输⼊的DStream接收数据，按照时间划分成⼀个⼀个的batch，并转化为⼀个RDD，RDD的
Spark文章汇总
yang_shibiao的博客
11-06 832
Spark（1）：Spark概述 Spark（2）：Spark快速上手 Spark（3）：Spark运行环境 Spark（4）：Spark运行架构 Spark（5）：RDD概述 Spark（6）：RDD的创建和并行度 Spark（7）：RDD转换算子 Spark（8）：RDD行动算子 Spark（9）：RDD的序列化 Spark（10）：RDD依赖关系 Spark（11）：RDD持久化 Spark（12）：RDD文件读取与保存 Spark（13）：RDD之广播变量和累加器
spark
最新发布
dmnjsw的博客
05-13 1056
在进行处理时，reduceByKey()方法将相同键的前两个值传给输入函数，产生一个新的返回值，新产生的返回值与RDD中相同键的下一个值组成两个元素，再传给输入函数，直到最后每个键只有一个对应的值为止。使用flatMap()方法时先进行map（映射）再进行flat（扁平化）操作，数据会先经过跟map一样的操作，为每一条输入返回一个迭代器（可迭代的数据类型），然后将所得到的不同级别的迭代器中的元素全部当成同级别的元素，返回一个元素级别全部相同的RDD。两个RDD的顺序会影响结果。
Spark平台上的AI知识图谱构建实践
这些领域中的知识图谱有助于整合和梳理复杂的理论与算法，促进AI系统的学习和推理能力。 Spark作为一个分布式计算框架，因其高效、易用和可扩展性，被选为构建知识图谱的基础平台。Spark提供了内存计算的能力，极大...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值