Spark
文章平均质量分 82
泰山不老生
耿嘉安,15年IT经验。《深入理解Spark》与《Spark内核设计的艺术》两书的作者。Apache Spark Contributor和MongoDB Contributor。曾就职于阿里巴巴,基于ODPS构建大数据商业解决方案——御膳房。曾负责艺龙大数据平台的架构工作。现在负责360对于Spark的运维、调优、扩展、开发等工作。在大量的工作实践中,对J2EE、JVM、Tomcat、Spring、Hadoop、Spark、MySQL、Redis、Zookeeper都有深入研究。早期从事J2EE企业级应用开发,对Java相关技术有独到见解。业余喜欢研究中国古代历史,古诗词,旅游,足球等。
展开
-
深入浅出Spark2.1.0度量系统——Sink继承体系
阅读提示:阅读本文前,最好请阅读《Spark2.1.0——深入浅出度量系统》和《深入浅出Spark2.1.0度量系统——Source继承体系》。 Source准备好度量数据后,我们就需要考虑如何输出和使用的问题。这里介绍一些常见的度量输出方式:阿里数据部门采用的一种度量使用方式就是输出到日志;在命令行运行过Hadoop任务(例如:mapreduce)的使用者也会发现控制台打印的...原创 2018-10-09 19:06:59 · 2364 阅读 · 9 评论 -
深入浅出Spark2.1.0度量系统——Source继承体系
阅读提示:阅读本文前,最好请阅读《Spark2.1.0——深入浅出度量系统》一文。 任何监控都离不开度量数据的采集,离线的数据采集很容易做到和被采集模块之间的解耦,但是对于实时度量数据,尤其是那些内存中数据的采集就很难解耦。这就类似于网页监控数据的埋点一样,你要在网页中加入一段额外的js代码(例如Google分析,即便你只是引入一个js文件,这很难让前端工程师感到开心)。还有一...原创 2018-10-09 19:06:45 · 1536 阅读 · 7 评论 -
Spark2.1.0——深入浅出度量系统
对于一个系统而言,首先考虑要满足一些业务场景,并实现功能。随着系统功能越来越多,代码量级越来越高,系统的可维护性、可测试性、性能都会成为新的挑战,这时监控功能就变得越来越重要了。在国内,绝大多数IT公司的项目都以业务为导向,以完成功能为目标,这些项目在立项、设计、开发、上线的各个阶段,很少有人会考虑到监控的问题。在国内,开发人员能够认真的在代码段落中打印日志,就已经属于最优秀的程序员了。然而,在国...原创 2018-10-09 09:50:31 · 4202 阅读 · 7 评论 -
Spark2.1.0事件总线分析——LiveListenerBus详解
阅读提示:阅读本文前,最好先阅读《Spark2.1.0之源码分析——事件总线》、《Spark2.1.0事件总线分析——ListenerBus的继承体系》及《Spark2.1.0事件总线分析——SparkListenerBus详解》几篇文章的内容。LiveListenerBus继承了SparkListenerBus,并实现了将事件异步投递给监听器,达到实时刷新UI界面数据的效果。LiveList...原创 2018-09-27 09:39:49 · 2735 阅读 · 6 评论 -
Spark2.1.0事件总线分析——SparkListenerBus详解
阅读提示:阅读本文前,最好先阅读《Spark2.1.0之源码分析——事件总线》和《Spark2.1.0事件总线分析——ListenerBus的继承体系》。 有了《Spark2.1.0之源码分析——事件总线》文中对ListenerBus的定义及《Spark2.1.0事件总线分析——ListenerBus的继承体系》文中对ListenerBus类继承体系的介绍,本小节将详细介绍Sp...原创 2018-09-18 10:07:03 · 2285 阅读 · 0 评论 -
Spark2.1.0事件总线分析——ListenerBus的继承体系
阅读提示:阅读本文前,最好先阅读《Spark2.1.0之源码分析——事件总线》。 通过阅读《Spark2.1.0之源码分析——事件总线》一文,理解了ListenerBus的定义后,本小节一起来看看有哪些类继承了它。ListenerBus的类继承体系如图1所示。图1 ListenerBus的类继承体系 从图1中可以看到有三种ListenerBus的具体实现,分别为...原创 2018-09-11 09:43:08 · 1063 阅读 · 0 评论 -
Spark2.1.0之源码分析——事件总线
Spark定义了一个特质[1]ListenerBus,可以接收事件并且将事件提交到对应事件的监听器。为了对ListenerBus有个直观的理解,我们先来看看它的代码实现,见代码清单1。代码清单1 ListenerBus的定义private[spark] trait ListenerBus[L <: AnyRef, E] extends Logging...原创 2018-09-03 10:14:20 · 4327 阅读 · 0 评论 -
spark2.1.0之源码分析——RPC客户端TransportClient详解
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC服务器TransportServer》 《spark2.1.0之源码分析——RPC管道初始化》 《...原创 2018-08-28 10:48:46 · 2379 阅读 · 0 评论 -
spark2.1.0之源码分析——RPC服务端引导程序TransportServerBootstrap
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC服务器TransportServer》 《spark2.1.0之源码分析——RPC管道初始化》 《...原创 2018-08-20 10:56:59 · 2620 阅读 · 4 评论 -
spark2.1.0之源码分析——服务端RPC处理器RpcHandler详解
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC服务器TransportServer》 《spark2.1.0之源码分析——RPC管道初始化》...原创 2018-08-13 10:21:13 · 3180 阅读 · 2 评论 -
spark2.1.0之源码分析——RPC传输管道处理器详解
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC服务器TransportServer》 《spark2.1.0之源码分析——RPC管道初始化》 ...原创 2018-08-01 10:55:17 · 1169 阅读 · 0 评论 -
spark2.1.0之源码分析——RPC管道初始化
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC服务器TransportServer》在《spark2.1.0之源码分析——RPC客户端工厂Tran...原创 2018-07-25 10:32:57 · 2507 阅读 · 0 评论 -
spark2.1.0之源码分析——RPC服务器TransportServer
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 TransportServer是RPC框架的服务端,可提供高效的、低级别的流服务。在说明《Spark2.1.0之内置RPC框架》一文...原创 2018-07-17 10:32:36 · 1310 阅读 · 0 评论 -
spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory
提示:阅读本文前最好先阅读《Spark2.1.0之内置RPC框架》和《spark2.1.0之源码分析——RPC配置TransportConf》。 TransportClientFactory是创建传输客户端(TransportClient)的工厂类。在说明《Spark2.1.0之内置RPC框架》文中的图1中的记号①时提到过TransportContext的createClientFact...原创 2018-07-10 10:16:52 · 2248 阅读 · 0 评论 -
spark2.1.0之源码分析——RPC配置TransportConf
在《Spark2.1.0之内置RPC框架》提到TransportContext中的TransportConf给Spark的RPC框架提供配置信息,它有两个成员属性——配置提供者conf和配置的模块名称module。这两个属性的定义如下: private final ConfigProvider conf; private final String module;其中conf...原创 2018-07-02 18:31:02 · 1411 阅读 · 0 评论 -
Spark2.1.0——SparkContext概述
Spark应用程序的提交离不开Spark Driver,后者是驱动应用程序在Spark集群上执行的原动力。了解Spark Driver的初始化,有助于读者理解Spark应用程序与Spark Driver的关系。Spark Driver的初始化始终围绕着SparkContext的初始化。SparkContext可以算得上是Spark应用程序的发动机引擎,轿车要想跑起来,发动机首先要启动。Spar...原创 2018-11-12 10:07:23 · 2804 阅读 · 0 评论 -
深入理解Spark RDD——RDD信息对象
RDDInfo用于描述RDD的信息,RDDInfo提供的信息如下:id:RDD的id。 name:RDD的名称。 numPartitions:RDD的分区数量。 storageLevel:RDD的存储级别(即StorageLevel)。 parentIds:RDD的父亲RDD的id序列。这说明一个RDD会有零到多个父RDD。 callSite:RDD的用户调用栈信息。 scope:...原创 2019-08-16 11:20:53 · 3183 阅读 · 1 评论 -
深入理解Spark RDD——RDD分区计算器Partitioner
在《深入理解Spark RDD——RDD依赖(构建DAG的关键)》一文,详细描述了RDD的宽窄依赖。RDD之间的依赖关系如果是Shuffle依赖,那么上游RDD该如何确定每个分区的输出将交由下游RDD的哪些分区呢?或者下游RDD的各个分区将具体依赖于上游RDD的哪些分区呢?Spark提供了分区计算器来解决这个问题。ShuffleDependency的partitioner属性的类型是Partiti...原创 2019-08-16 11:14:50 · 2561 阅读 · 0 评论 -
深入理解Spark RDD——为什么需要RDD?
RDD(Resilient Distributed Datasets,弹性分布式数据集)代表可并行操作元素的不可变分区集合。对于Spark的初学者来说,这个概念会十分陌生。即便是对于一些有Spark使用经验的人,要想说清楚什么是RDD,以及为什么需要RDD还是一件比较困难的事情。本文首先解释第二个问题。为什么需要RDD?以下从数据处理模型、依赖划分原则、数据处理效率及容错处理4个方面解释Spa...原创 2019-06-11 10:00:25 · 2661 阅读 · 0 评论 -
深入理解Spark RDD——RDD实现的初次分析
RDD(Resilient Distributed Datasets,弹性分布式数据集)代表可并行操作元素的不可变分区集合。对于Spark的初学者来说,这个概念会十分陌生。即便是对于一些有Spark使用经验的人,要想说清楚什么是RDD,以及为什么需要RDD还是一件比较困难的事情。在《深入理解Spark RDD——为什么需要RDD?》一文解释了第二个问题,本文将开启对第一个问题的解答。有些读者可...原创 2019-06-21 09:49:19 · 1571 阅读 · 0 评论 -
深入理解Spark RDD——RDD依赖(构建DAG的关键)
在《深入理解Spark RDD——为什么需要RDD?》一文我们解释了为什么需要RDD,并且在《深入理解Spark RDD——RDD实现的初次分析》一文对RDD进行了基本的分析,本文将继续对RDD的依赖实现进行分析。正是由于RDD之间具有依赖关系,才能进而转换为调度中的DAG。DAG中的各个RDD之间存在着依赖关系。换言之,正是RDD之间的依赖关系构建了由RDD所组成的DAG。Spark使用De...原创 2019-08-12 15:31:53 · 2063 阅读 · 3 评论 -
Spark2.1.0——存储体系概述
本书在5.7节曾介绍过存储体系的创建,那时只为帮助读者了解SparkEnv,现在是时候对Spark的存储体系进行详细的分析了。简单来讲,Spark存储体系是各个Driver、Executor实例中的BlockManager所组成的。但是从一个整体出发,把各个节点的BlockManager看成存储体系的一部分,那么存储体系还有更多衍生内容,比如块传输服务、map任务输出跟踪器、Shuffle管理器等...原创 2019-04-09 15:49:38 · 18567 阅读 · 0 评论 -
Spark常见故障诊断(一)
本人维护的Spark主要运行在三个Hadoop集群上,此外还有其他一些小集群或者隐私集群。这些机器加起来有三万台左右。目前运维的Spark主要有Spark2.3和Spark1.6两个版本。用户在使用的过程中难免会发生各种各样的问题,为了对经验进行沉淀,也为了给Spark用户提供一些借鉴,这里将对各类问题如何处理进行介绍。由于故障种类繁多,所以我会开多个博客逐一进行介绍。本文介绍一些Spark1...原创 2019-04-01 09:29:18 · 12263 阅读 · 9 评论 -
Spark2.1.0——广播管理器BroadcastManager
BroadcastManager用于将配置信息和序列化后的RDD、Job以及ShuffleDependency等信息在本地存储。如果为了容灾,也会复制到其他节点上。创建BroadcastManager的代码实现如下。val broadcastManager = new BroadcastManager(isDriver, conf, securityManager)Broa...原创 2019-04-28 10:25:32 · 2196 阅读 · 0 评论 -
Spark2.1.0——Spark环境更新
阅读提示:本文是对SparkContext中对用户通过--jars(或spark.jars)和--files(或spark.files)参数添加的外部资源进行的分析。用户提交任务时往往需要添加额外的jar包或其它文件,用户任务的执行将依赖这些文件。这些文件该如何指定?任务在各个节点上运行时又是如何获取到这些文件的呢?我们首先回答第一个问题。在SparkContext的初始化过程中会读取用户...原创 2018-12-27 11:56:35 · 1263 阅读 · 4 评论 -
Spark2.1.0——Executor动态分配的实现原理
ExecutorAllocationManager的作用已在《Spark2.1.0——SparkContext概述》一文有过介绍,更为准确地说,ExecutorAllocationManager是基于工作负载动态分配和删除Executor的代理。简单讲,ExecutorAllocationManager与集群管理器之间的关系可以用图1来表示。图1 Executo...原创 2018-12-10 09:43:15 · 9283 阅读 · 2 评论 -
Spark2.1.0——ContextCleaner的工作原理分析
ContextCleaner是SparkContext中的组件之一。ContextCleaner用于清理那些超出应用范围的RDD、Shuffle对应的map任务状态、Shuffle元数据、Broadcast对象以及RDD的Checkpoint数据。创建ContextCleaner创建ContextCleaner的代码如下。 _cleaner = if (_conf....原创 2018-12-17 09:54:32 · 6788 阅读 · 0 评论 -
Spark2.1.0——WebUI框架体系
阅读建议:阅读本文前最好先阅读《Spark2.1.0——SparkUI的实现》一文。 Spark UI构建在WebUI的框架体系之上,因此应当首先了解WebUI。WebUI定义了一种Web界面展现的框架,并提供返回Json格式数据的Web服务。WebUI用于展示一组标签页,WebUITab定义了标签页的规范。每个标签页中包含着一组页面,WebUIPage定义了页面的规范。我们将...原创 2018-11-20 09:53:34 · 1916 阅读 · 2 评论 -
Spark2.1.0——SparkUI的实现
任何系统都需要提供监控功能,否则在运行期间发生一些异常时,我们将会束手无策。也许有人说,可以增加日志来解决这个问题。日志只能解决你的程序逻辑在运行期的监控,进而发现Bug,以及提供对业务有帮助的调试信息。当你的JVM进程奔溃或者程序响应速度很慢时,这些日志将毫无用处。好在JVM提供了jstat、jstack、jinfo、jmap、jhat等工具帮助我们分析,更有VisualVM的可视化界面以更加直...原创 2018-11-20 09:53:05 · 4118 阅读 · 9 评论 -
Spark2.1.0——创建SparkUI的分析
阅读建议:阅读本文前,最好先阅读《Spark2.1.0——SparkUI的实现》和《Spark2.1.0——WebUI框架体系》。 在SparkContext的初始化过程中,会创建SparkUI。有了对WebUI的总体认识,现在是时候了解SparkContext是如何构造SparkUI的了。SparkUI是WebUI框架的使用范例,了解了SparkUI的创建过程,读者对Mast...原创 2018-12-03 09:47:25 · 1254 阅读 · 0 评论 -
Spark2.1.0——SparkContext初始化之Spark环境的创建
阅读指导:在《Spark2.1.0——SparkContext概述》一文中,曾经简单介绍了SparkEnv。本节内容将详细介绍SparkEnv的创建过程。 在Spark中,凡是需要执行任务的地方就需要SparkEnv。在生产环境中,SparkEnv往往运行于不同节点的Executor中。但是由于local模式在本地执行的需要,因此在Driver本地的Executor也需要Spa...原创 2018-11-16 09:48:37 · 1374 阅读 · 0 评论 -
Spark2.1.0之内置RPC框架
在Spark中很多地方都涉及网络通信,比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等。在Spark 0.x.x与Spark 1.x.x版本中,组件间的消息通信主要借助于Akka[1],使用Akka可以轻松的构建强有力的高并发与分布式应用。但是Akka在Spark 2.0.0版本中被移除了,Spark官网文档对此...原创 2018-06-27 09:27:34 · 9365 阅读 · 3 评论 -
spark2.1.0之配置与源码分析
任何优秀的软件或服务都会提供一些配置参数,这些配置参数有些是内置的,有些则是可以由用户配置的。对于熟悉Java的开发人员来说,对JVM进行性能调优是一个经常需要面对的工作,这个过程常常伴随着各种JVM参数的调整与测试。之所以将这些参数交给具体的开发人员去调整,是因为软件或者服务的提供者也无法保证给定的默认参数是最符合用户应用场景与软硬件环境的。一个简单的例子:当用户的QPS发生变化时,...原创 2018-06-21 14:49:21 · 1210 阅读 · 2 评论 -
Spark2.1.0之模块设计
在阅读本文之前,读者最好已经阅读了《Spark2.1.0之初识Spark》和《Spark2.1.0之基础知识》两篇文章。本文将主要介绍Spark2.1.0版本中的模块设计以及各个模块的功能和特点。整个Spark主要由以下模块组成:Spark Core:Spark的核心功能实现,包括:基础设施、SparkContext(Application通过SparkContext提交)、Spark执行环境(S...原创 2018-06-05 10:00:02 · 1782 阅读 · 2 评论 -
Spark设计理念与基本架构
Spark是一个通用的并行计算框架,由加州伯克利大学(UCBerkeley)的AMP实验室开发于2009年,并于2010年开源。2013年成长为Apache旗下为大数据领域最活跃的开源项目之一。Spark也是基于map reduce 算法模式实现的分布式计算框架,拥有Hadoop MapReduce所具有的优点,并且解决了Hadoop MapReduce中的诸多缺陷。原创 2016-01-22 13:52:31 · 25191 阅读 · 30 评论 -
使用Akka构建集群(二)
前言在《使用Akka构建集群(一)》一文中通过简单集群监听器的例子演示了如何使用Akka搭建一个简单的集群,但是这个例子“也许”离我们的实际业务场景太远,你基本不太可能去做这样的工作,除非你负责运维、监控相关的工作(但实际上一个合格的程序员在实现功能的同时,也应当考虑监控的问题,至少应当接入一些监控系统或框架)。本文将介绍一个相对看来更符合我们对于集群使用的业务需求的例子——将客户端请求的...原创 2017-01-12 16:24:41 · 8513 阅读 · 2 评论 -
使用Akka持久化——消息发送与接收
在《使用Akka持久化——持久化与快照》一文中介绍了如何使用Akka持久化消息及生成快照。对于集群应用来说,发送者发出消息,只有当收到了接受者的成功回复才应当认为是一次完整的请求和应答(一些RPC框架只提供了远程调用、序列化/反序列化的机制,但是具体调用的成功与否实际是抛给了开发者本人),利用Akka的应答机制很容易实现这些功能。原创 2017-02-06 09:47:35 · 9745 阅读 · 4 评论 -
Spring与Akka的集成
概述 近年来随着Spark的火热,Spark本身使用的开发语言Scala、用到的分布式内存文件系统Tachyon(现已更名为Alluxio)以及基于Actor并发编程模型的Akka都引起了大家的注意。了解过Akka或者Actor的人应该知道,这的确是一个很不错的框架,按照Akka官网的描述——使用Akka使得构建强有力的并发与分布式应用将更加容易。由于历史原因,很多Web系统在开发...原创 2017-01-04 10:23:34 · 16424 阅读 · 8 评论 -
使用Akka构建集群(一)
概述Akka提供的非常吸引人的特性之一就是轻松构建自定义集群,这也是我要选择Akka的最基本原因之一。如果你不想敲太多代码,也可以通过简单的配置构建一个非常简单的集群。本文为说明Akka集群构建的学习成本低廉,以Akka官网的例子代码出发,进行简单改造后与Spring集成,有关Spring集成的信息你可以选择阅读《Spring与Akka的集成》一文。本文所讲述的是一款十分简便的集群监听器,它通...原创 2017-01-09 15:56:18 · 17130 阅读 · 2 评论 -
使用Akka的远程调用
概述正如其它RPC或者RMI框架那样,Akka也提供了远程调用的能力。服务端在监听的端口上接收客户端的调用。本文将在《Spring与Akka的集成》一文的基础上介绍Akka的remote调用,本文很多代码和例子来源于Akka官网的代码示例,也包含了一些适用于Spring集成的改造,本文旨在介绍Akka的远程调用的开发过程。服务端开发配置Akka的默认配置文件为application...原创 2017-01-06 15:01:25 · 11709 阅读 · 4 评论