![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 91
shining_yyds
这个作者很懒,什么都没留下…
展开
-
Spark源码系列(零)-如何开始分析Spark源码
如果想更深入的理解Spark,那么就需要深入去研究下源码实现。关于Spark源码下载可以到官方网站或者github进行下载,而阅读源码的最好方式就是调试,Spark源码调试有很多种办法,本文介绍一种我常用的调试方法。在调试Spark代码之前,可以先找一台linux主机安装Spark,这里最简单的方式用local方式即可,只需要下载官网编译好的Spark安装包即可,当然也可以部署一套Standalone模式的SPark集群,或者使用Spark on Yarn模式(推荐这种方法,不过需要搭建一套Hadoop原创 2021-08-11 17:22:27 · 365 阅读 · 0 评论 -
Photon论文解读 : A Fast Query Engine for Lakehouse Systems
论文首先阐述了lakehouse的作用。首先,企业会将大量数据存储在弹性、可扩展的data lake上比如amazon s3、azure data lake storage,google cloud storage等,这些数据可能是以apache parquet、orc、delta lake等open file format存储的raw、uncurated datasets,客户/用户可以通过presto,spark等计算引擎访问,工作负载包括BI,ml等。转载 2023-02-06 15:49:03 · 346 阅读 · 0 评论 -
深度解读|Spark 中 CodeGen 与向量化技术的研究
Spark 项目是在2010年左右开源出来的,越来越多的人了解到了 Spark 这个开源大数据项目的存在。从其诞生之初到如今 Spark 3.2.0 版本的发布,整个大数据圈中凡是用了 Spark 的公司和个人,都一直致力于对它的性能进行极致的优化。时至今日,国内外的各大厂商都把性能优化的矛头直指向量化技术,意图能够把 Spark 的性能完全压榨出来,让它能够更加逼近硬件的性能。转载 2022-11-21 20:25:24 · 949 阅读 · 0 评论 -
Spark源码系列(四):Spark不同运行模式
一、Spark不同运行模式首先来看Spark关于Driver和Executor的解释:Driver:运行Application的main()函数并创建SparkContext(应用程序的入口)。驱动程序,负责向ClusterManager提交作业。和集群的executor进行交互 Executor:在worker节点上启动的进程,执行器,在worker node上执行任务的组件、用于启动线程池运行任务。每个Application拥有独立的一组Executors。Spark支持多种模式,包括l..原创 2021-08-31 15:52:23 · 1714 阅读 · 0 评论 -
Spark源码系列(一):Spark作业提交流程
Spark支持spark-shell、spark-sql、spark-submit多种使用方式,但最终调用的代码都是通过SparkSubmit进行提交,上一篇介绍到spark-submit的示例:# spark本地模式提交作业./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master local /path/to/examples.jar \ 1000下面就来分析下spark-submit..原创 2021-08-23 11:38:40 · 1015 阅读 · 0 评论 -
Spark源码系列(二):SparkContext源码分析
1、功能描述本篇文章就要根据源码分析SparkContext所做的一些事情,用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类(新版本里是SparkSession,但其内部还是调用SparkContext),足以说明SparkContext的重要性;这里先摘抄SparkContext源码注释来简单介绍介绍SparkContext,注释的第一句话就是说SparkContext为Spark的主要入口点,简明扼要,如把Spark集群当作服务端那Spark Driver就是.原创 2021-08-12 20:06:05 · 175 阅读 · 0 评论 -
SparkStreaming滑动窗口应用
Spark-Streaming之window滑动窗口应用,Spark Streaming提供了滑动窗口操作的支持,从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据,会被聚合起来执行计算操作,然后生成的RDD,会作为window DStream的一个RDD。网官图中所示,就是对每三秒钟的数据执行一次滑动窗口计算,这3秒内的3个RDD会被聚合起来进行处理,然后过转载 2018-02-07 19:57:18 · 986 阅读 · 0 评论