spark学习 - Spark体系结构和源代码解析

最新推荐文章于 2021-06-25 11:33:16 发布
最新推荐文章于 2021-06-25 11:33:16 发布
阅读量815 收藏 2
点赞数
分类专栏： Spark学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bingdianone/article/details/88013827
版权

文章目录

Spark简介

在这里插入图片描述

Spark简介

  • 什么是Spark？
  • Spark是基于内存计算的通用大规模数据处理框架
  • Spark已经融入了Hadoop生态系统，可支持的作业类型和应用场景比MapReduce更为广泛，并且具备了MapReduce所有的高容错性和高伸缩性特点。
    在这里插入图片描述

为何会诞生Spark？

  • 回顾MapReduce
    • 并不是所有的问题都可以简单的分解成Map和Reduce两步模型处理
      在这里插入图片描述
  • MapReduce缺点
    • 延时高 ✗
      • Example：不适合交互式SQL分析
    • 迭代计算力不从心 ✗
      • Example：斐波那契数列
    • 流式数据处理 ✗
      • Example：统计网站PV、UV数据
  • Spark
    • 一站式解决
      • 离线批处理 ✓
      • 流式计算 ✓
      • 在线实时分析 ✓
        在这里插入图片描述

Spark为何快？

MapReduce

  • MapReduce会将中间结果输出到本地磁盘
    • 例如Shuffle时Map输出的中间结果
      在这里插入图片描述
  • 有多个MapReduce任务串联时，依赖HDFS存储中间结果的输出
    • 例如执行Hive查询
      在这里插入图片描述
  • MapReduce在处理复杂DAG时会带来大量的数据copy、序列化和磁盘I/O开销
最低0.47元/天 解锁文章
-无妄-
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark代码解析
qq_50937686的博客
06-27 651
import java.io.File import scala.io.Source import collection.mutable.Map #导入需要的类 object WordCount { def main(args: Array[String]) { val dirfile=new File("testfiles") #根据当前文件夹下testfiles文件夹（包含若干文本文件），建立一个File对象。 ...
基于Spark的机器学习平台设计与实现.pdf
08-20
对机器学 习 任务中 的 常见场景， 基于 平台设计和实现了 其 中经典 的算法 ， 包括并行化的线性 回 归 、 支持 向量机 、 聚类算法 ， 基于 图计算模型抽象 的矩阵分解 、 算法 ， 以及数据流 聚类算法 。 算法工作均 以大规模机器学习 的相 关基础理论为有效支持 ， 充分体现平台的运行 效率和可扩展性 ；
Spark2.1.0之代码结构及载入Ecplise方法
beliefer的博客
05-17 1483
一、项目结构        在大型项目中，往往涉及非常多的功能模块，此时借助于Maven进行项目、子项目（模块）的管理，能够节省很多开发和沟通成本。整个Spark项目就是一个大的Maven项目，包含着多个子项目。无论是Spark父项目还是子项目，本身都可以作为独立的Maven项目来管理。core是Spark最为核心的功能模块，提供了RPC框架、度量系统、Spark UI、存储体系、调度系统、计算引...
Spark技术内幕：一个图搞定Spark到底有多少行代码
weixin_33919950的博客
06-30 222
Spark1.0.0发布一个多月了，那么它有多少行代码（Line of Code, LOC）？注：代码统计未包含测试，sample。 转载于:https://www.cnblogs.com/wuwa/p/6190797.html
Spark 运行架构
翁老师的教学团队
05-25 531
Spark 运行架构 运行架构 Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。 Driver 表示 master，负责管理整个集群中的作业任务调度。 Executor 则是 slave，负责实际执行任务。 核心组件 Spark 框架有两个核心组件： Driver Executor Driver Spark 驱动器节点，用于执行 Spark 任务中的 main 方法，负责实际代码的执行工作。 Driver 在Spark 作业执行时主要负责： 将
SparkInternals:学习Apache Spark源代码的笔记-spark source code
03-24
在学习过程中，马·萨里亚发表的论文弹性分布式数据集：容错的抽象内存中的集群计算和他的博士毕业论文的体系结构快速通用数据处理大型集群，杰里铅关于Apache的星火内部机制的，ColZer关于Apache Spark的，等
spark全套学习资料.zip
06-30
- Spark培训体系.xmind可能是一个详细的Spark学习路径或课程大纲，列出了各个学习阶段的重点和目标。 - 1. 笔记可能是个人学习Spark过程中的总结，包含了对某些主题的独特见解和实践心得。 通过这一系列的学习资料...
Spark大数据处理-技术、应用于性能优化
05-13
这是一本依据最新技术版本，系统、全面、详细讲解Spark的著作，作者结合自己在微软和IBM的实践经验和对Spark源代码的研究撰写而成。首先从技术层面讲解了Spark的体系结构、工作机制、安装与部署、开发环境搭建、计算...
Apache Spark研究报告1
08-04
Spark 的体系结构由多个组件组成，其中核心是计算引擎，负责调度、分发和监控计算任务。该引擎的灵活性和通用性使得它可以支持SQL、机器学习等高级组件。各组件之间的紧密集成使得性能优化可以贯穿整个软件栈，同时...
Spark基本架构及运行原理
热门推荐
charming的专栏
04-12 2万+
Spark软件栈 Spark Core: 包含Spark的基本功能，包含任务调度，内存管理，容错机制等，内部定义了RDDs(弹性分布式数据集)，提供了很多APIs来创建和操作这些RDDs。为其他组件提供底层的服务。 Spark SQL: Spark处理结构化数据的库，就像Hive SQL,Mysql一样，企业中用来做报表统计。 Spark Streaming: 实时数据...
spark对结构体进行排序
云飞扬的博客
03-20 356
import org.apache.spark.{SparkConf, SparkContext} object Paixu { def main(args: Array[String]): Unit = { val conf=new SparkConf().setMaster("local[3]").setAppName("paixu") val sc=new Spar...
Spark源码解析（一）：运行架构
gentlewei的博客
04-23 384
目录1 总体介绍2 脚本提交流程3 yarn-client模式源码分析 1 总体介绍 Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布模式运行，而当以分布式集群的方式部署时，也有众多的运行模式可供选择，这取决于集群的实际情况，底层的资源调度即可以依赖外部资源调度框架，也可以使用Spark内建的Standalone 模式。对于外部资源调度框架的支持，主要以...
Spark源码解析(一):Spark执行流程和脚本
Oeljeklaus的博客
06-27 5955
Spark执行流程 Spark带注释源码 对于整个Spark源码分析系列，我将带有注释的Spark源码和分析的文件放在我的GitHub上Spark源码剖析欢迎大家fork和star 过程描述: 1.通过Shell脚本启动Master，Master类继承Actor类，通过ActorySystem创建并启动。 2.通过Shell脚本启动Worker，Worker类继承Actor类，通过A...
深入理解Spark 2.1 Core （一）：RDD的原理与源码分析
12-27 2万+
本文链接：http://blog.csdn.net/u011239443/article/details/53894611 该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于博文http://sh...
spark源码阅读-存储体系1(概述)
qq_22473333的博客
04-24 109
简单来讲，spark存储体系市各个Driver和Excutor实例中的BlockManager所组成的。但是从一个整体出发，把各个结点的BlockManager看程存储体系的一部分，那么存储体系还包含更多衍生的内容，如块传输服务，map任务输出跟踪器，Shuffle管理器等。 在正式介绍储存体系之前，需要对存储体系从整体上有个宏观的认识，浙...
Spark源码解读(一)
一个有深度的博客
06-25 1367
一、spark通过yarn启动的过程 在spark通过yarn提交的时候，会去执行SparkSubmit的main方法。 override def main(args: Array[String]): Unit = { val submit = new SparkSubmit() { self => override protected def parseArguments(args: Array[String]): SparkSubmitArguments =
Spark基本架构及原理
zjh_746140129的博客
05-26 6423
目标：Spark概述Spark基本概念运行流程及特点spark 与 hadoopRDD运行流程Spark三大类算子Spark StreamingSpark概述：Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类 Hadoop MapRedduce的通用并行框架，Spark拥有Ha...
Spark源代码阅读（一）
define_us的专栏
11-13 5880
强烈推荐 https://blog.csdn.net/weixin_41705780/article/details/79273666 总体架构 Spark工程下的模块 spark core, spark 内核 spark streaming, spark流计算(基于batch方式) spark sql MLlib, 机器学习lib库 GraphX, 图计算 R, 与R语言结合 Python，与...
spark学习-sparksql--07-sparkcontext类和sparkconf类
最新发布
03-16
SparkContext类和SparkConf类是Spark框架中非常重要的两个类。 SparkContext类是Spark应用程序的入口点，它负责与集群管理器进行通信，创建RDD、累加器和广播变量等Spark核心组件，并提供了一些常用的操作函数，如textFile()、parallelize()等。 SparkConf类则是Spark应用程序的配置类，它可以设置Spark应用程序的各种参数，如应用程序名称、运行模式、集群管理器、序列化方式、内存分配等。SparkConf类还可以通过set()方法动态地修改配置参数。 SparkSQL是Spark框架中的一个模块，它提供了一种基于SQL语言的数据处理方式，可以将结构化数据以表格的形式进行处理和分析。SparkSQL支持多种数据源，如Hive、JSON、Parquet等，同时也支持多种数据格式的查询和分析，如SQL查询、DataFrame和Dataset等。 总之，SparkContext类和SparkConf类是Spark框架中非常重要的两个类，而SparkSQL则是Spark框架中的一个重要模块，它们都为Spark应用程序的开发和运行提供了很大的便利性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值