你是怎么理解Spark，它的特点是什么？

最新推荐文章于 2024-06-01 08:50:02 发布
最新推荐文章于 2024-06-01 08:50:02 发布
阅读量849 收藏 1
点赞数
分类专栏： 大数据面试 spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sb_jb/article/details/124802530
版权

Spark 是一个基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎。
它内部的组成模块，包括 SparkCore，SparkSQL，SparkStreaming，SparkMLlib，SparkGraghx等…
在这里插入图片描述
它的特点：

  • 快
    Spark 计算速度是 MapReduce 计算速度的10-100倍
  • 易用
    MapReduce 支持1种计算模型，Spark 支持更多的计算模型
  • 通用
    Spark 能够进行离线计算、交互式查询（快速查询）、实时计算、机器学习、图计算
  • 兼容性
    Spark 支持大数据中的 Yarn 调度，支持 mesos。可以处理 hadoop 计算的数据。
星空下的那个人影
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark 特点
Running_Tiger的博客
03-05 3276
Spark 特点 1. 快 与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。 2.易用 Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和...
spark3.0入门到精通
04-10
├─Spark-day01 │      01-[了解]-Spark发展历史和特点介绍.mp4 │      03-[掌握]-Spark环境搭建-Standalone集群模式.mp4 │      06-[理解]-Spark环境搭建-On-Yarn-两种模式.mp4 │      07-[掌握]-Spark环境搭建-On-Yarn-两种模式演示.mp4 │      09-[掌握]-Spark代码开发-准备工作.mp4 │      10-[重点]-Spark代码开发-入门案例.mp4 ├─Spark-day02 │      02-[掌握]-RDD的创建.mp4 │      04-[掌握]-RDD的分区操作.mp4 │      05-[掌握]-RDD的重分区操作.mp4 │      06-[掌握]-RDD的聚合操作.mp4 │      07-[面试题]-RDD的聚合reduceByKey和groupByKey.mp4 │      10-[掌握]-RDD的缓存-持久化.mp4 │      15-[了解]-外部数据源-操作JDBC-读.mp4
大数据Spark面试题汇总
04-12
大数据Spark面试题汇总，共有79道面试题以及题目的解答 部分题目如下： 1. spark 的有几种部署模式，每种模式特点？ 2. Spark 为什么比 mapreduce 快？ 3. 简单说一下 hadoop 和 spark 的 shuffle 相同和差异？ 5. spark 的优化怎么做？ 6. 数据本地性是在哪个环节确定的？ 7. RDD 的弹性表现在哪几点？ 8. RDD 有哪些缺陷？ 9. Spark 的 shuffle 过程？ 10. Spark 的数据本地性有哪几种？ 11. Spark 为什么要持久化，一般什么场景下要进行 persist 操作？ 12. 介绍一下 join 操作优化经验？ 13. 描述 Yarn 执行一个任务的过程？ 14. Spark on Yarn 模式有哪些优点？ 15. 谈谈你对 container 的理解？ 16. Spark 使用 parquet 文件存储格式能带来哪些好处？ 17. 介绍 parition 和 block 有什么关联关系？ 18. Spark 应用程序的执行过程是什么？
【Spark】Spark核心之弹性分布式数据集RDD
weixin_30954607的博客
06-15 85
1. RDD概述 1.1 什么是RDD (1)RDD（Resilient Distributed Dataset）弹性分布式数据集，它是Spark的基本数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 (2) 具有数据流模型的特点：自动容错、位置感知性调度、可伸缩性。 (3) 查询速度快：在执行多个查询时，可以显示的将工作集缓存到内存中，后续的查...
spark通信框架调研
L_IRISRIIN的博客
12-20 1220
spark 通信框架相关
Spark官方简述
weixin_39868387的博客
03-04 743
Spark是一种分布式的计算框架，可以处理海量数据，目前流行的计算框架 MapReduce：适用于离线批处理，也可以用于实时计算 Storm: 用于实时计算 Spark：即可以用于离线批处理，也可以用于实时计算 Flink：主要用于实时计算 综上，我们发现MapReduce计算框架是一种高度依赖于磁盘I/O框架，而且在有些业务场景下，比如某算法（梯度下降法，逻辑回归）会多次用到前写job的结...
spark面试题：你是怎么理解Spark，它的特点是什么？
epitomizelu的专栏
07-14 1440
一，spark是什么？ Spark是基于海量数据的分布式分析引擎。 Spark是在总结Hadoop的经验教训的基础上，基于MapReduce思想的分布式计算框架，包含所有Hadoop的优点，但不同于Hadoop中MapReduce将中间结果存储在Hdfs，spark的中间输出和结果可以保存在内存，从而避免了存储到Hdfs所需要的磁盘IO和网络传输，性能大为提升。 Spark是分布式计算引擎，其没有存储功能，所以Spark需要指定数据源和数据输出。 二，spark的特点 速度快 官网案例表明Spark比Had
spark(day01)
yygyj的博客
08-29 758
spark
Spark有哪些特点？
Aa112233aA1的博客
11-19 1万+
Spark计算框架在处理数据时，所有的中间数据都保存在内存中。正是由于Spark充分利用内存对数据进行计算，从而减少磁盘读写操作，提高了框架计算效率。同时Spark还兼容HDFS、Hive，可以很好地与Hadoop系统融合，从而弥补MapReduce高延迟的性能缺点。所以说，Spark是一个更加快速、高效的大数据计算平台。 Spark入门到精通：Spark3.0教程 Spark3.0从入门到精通 Spark具有以下几个显著的特点： 1、速度快 小生根据官方数据统计，与Hadoop相比，Spark基于内存的运
Spark Streaming实时计算框架—在他乡
m0_64644104的博客
05-21 362
书接上回，斜阳外，古道边，spark与儿时老友相遇在桥头的酒家。几经流年，spark风流不减当年，仍然如往时那般多情，而kafka却变得深沉了许多，听kafka回忆到：“当年与Sprak streaming在一起的时光多么潇洒、快乐，而如今，人是故人，酒是老酒，谈吐间尽是忧愁。欲买桂花同载酒，终不似，少年游。成年的我们觉得压力无处不在，而快乐却显得那么珍贵。彼此漂泊在外，无处可依，无处可靠，只剩下眼前的苟且。提示：以下是本篇文章正文内容，下面案例可供参考。
spark流式计算处理
08-23
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎，Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
图解Spark++核心技术与案例实战
04-25
通过本书可以了解到Spark特点和使用的场景，如果希望继续深入学习Spark知识，该书也是很好的入门选择。 （2） Spark开发人员 如果要进行Spark应用的开发，仅仅掌握Spark基本使用方法是不够的，还需深入了解Spark的...
Python学习笔记——大数据之SPARK核心
02-24
本文来自于csdn，文章讲解RDD的特点，RDD操作函数相关，穿插案例辣酱得段子，带大家理解MapReduce，通过哈姆雷特单词分析案例进行深度剖析。RDD（ResilientDistributedDatasets弹性分布式数据集），是spark中最重要...
实时和离线，大数据计算引擎谁主沉浮
学而知之@的博客
06-30 2243
摘要：今天分享的主要内容是实时、离线大数据计算引擎的简介和对比，希望通过此文各位同学能收获一二。本文主要内容包括：1、Flink简介2、Spark简介3、F...
Spark知识点整理（一）——SparkCore部分
程序员小菜鸡Cjp的博客
07-16 679
1.分布式计算引擎的发展 (1) 第一代：MapReduce 应用：传统的离线计算 缺点：基于磁盘存储，读写性能差，灵活性差 (2) 第二代：Tez、Storm 应用：离线计算 缺点：Tez基于MR做了颗粒度拆分，提高了灵活性，但还是基于磁盘，读写性能没有改善 Storm应用于实时计算 (3) 第三代：Spark 离线+实时：lambda架构 目前在工作中主要使用的离线计算引擎 (4) 第四代：Flink 所有计算全部都是通过实时来实现的：Kappa架构 目前在工作中主要使用实时计算引
分布式离线计算—Spark—基础介绍
sanmi8276的博客
01-25 2285
原文作者：饥渴的小苹果 原文地址：【Spark】Spark基础教程 目录 Spark特点 Spark相对于Hadoop的优势 Spark生态系统 Spark基本概念 Spark结构设计 Spark各种概念之间的关系 Executor的优点 Spark运行基本流程 Spark运行架构的特点 Spark的部署模式 Spark三种部署方式 Hadoop和Spark的统一部署 摘要： Spark是基于内存计算的大数据并行计算框架 Spark使用DAG引擎，支持Scala、jav.
Spark简介
热门推荐
qinlingheshang的博客
03-03 2万+
Spark简介Spark是什么新的改变Spark集群架构合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Spark是什么 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如
Spark基础
木樨
04-20 875
Spark基础 什么是Spark 基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎。 Spark特点 快： Spark计算速度是MapReduce计算速度的10-100倍 易用：（算法多）MR支持1种计算模型，Spsark支持更多的计算模型。 通用： Spark 能够进行离线计算、交互式查询（快速查询）、实时计算、机器学习、图计算等 兼容性： Spark支...
Spark SQL数据源 - JDBC
最新发布
IT深耕十余载，大道之简
06-01 538
在Spark SQL中，你可以使用JDBC（Java Database Connectivity）数据源来连接和操作关系型数据库。通过JDBC，Spark可以读取和写入数据到多种关系型数据库，如MySQL、PostgreSQL、Oracle、SQL Server等。
什么是rdd,通俗理解
09-28
RDD（Resilient Distributed Datasets）是Spark中的一个核心概念，是一种分布式的弹性数据集。 简单来说，RDD是Spark中的一个抽象数据结构，代表着一个由分布在集群节点上的数据元素组成的不可变分区集合。RDD具有以下几个特点： 1. 弹性：RDD具备容错能力，可以自动恢复数据丢失或节点故障的情况，保证计算的鲁棒性。 2. 分布式：RDD可在集群中的多个节点上进行并行计算，充分利用集群资源，实现高效的分布式计算。 3. 不可变性：RDD是不可变的，一旦创建就不能修改。如果需要对RDD进行转换或操作，会生成一个新的RDD，并保留原始RDD的不变性。 4. 延迟计算：RDD支持惰性计算，即只有在需要使用计算结果的时候才会进行真正的计算，这可以大大提高计算效率。 RDD可以通过两种方式进行创建：从内存中的集合对象创建，或者从外部存储（如HDFS、HBase等）中读取数据创建。 通过对RDD调用各种操作（如map、filter、reduce等），可以实现对数据的转换和聚合处理。RDD支持各种数据类型的操作，如元素的查找、过滤、排序、分组等操作，非常灵活。 总的来说，RDD是Spark中用来表示分布式数据集的一种抽象概念，通过对RDD的操作，可以进行高效的分布式数据处理与计算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值