排序:
默认
按更新时间
按访问量

深入浅出Spark2.1.0度量系统——Sink继承体系

阅读提示:阅读本文前,最好请阅读《Spark2.1.0——深入浅出度量系统》和《深入浅出Spark2.1.0度量系统——Source继承体系》。          Source准备好度量数据后,我们就需要考虑如何输出和使用的问题。这里介绍一些常见的度量输出方式:阿里数据部门采用的一种度量使用方式...

2018-10-09 19:06:59

阅读数:45

评论数:2

深入浅出Spark2.1.0度量系统——Source继承体系

阅读提示:阅读本文前,最好请阅读《Spark2.1.0——深入浅出度量系统》一文。          任何监控都离不开度量数据的采集,离线的数据采集很容易做到和被采集模块之间的解耦,但是对于实时度量数据,尤其是那些内存中数据的采集就很难解耦。这就类似于网页监控数据的埋点一样,你要在网页中加入一段...

2018-10-09 19:06:45

阅读数:532

评论数:0

Spark2.1.0——深入浅出度量系统

对于一个系统而言,首先考虑要满足一些业务场景,并实现功能。随着系统功能越来越多,代码量级越来越高,系统的可维护性、可测试性、性能都会成为新的挑战,这时监控功能就变得越来越重要了。在国内,绝大多数IT公司的项目都以业务为导向,以完成功能为目标,这些项目在立项、设计、开发、上线的各个阶段,很少有人会考...

2018-10-09 09:50:31

阅读数:2638

评论数:8

Spark2.1.0事件总线分析——LiveListenerBus详解

阅读提示:阅读本文前,最好先阅读《Spark2.1.0之源码分析——事件总线》、《Spark2.1.0事件总线分析——ListenerBus的继承体系》及《Spark2.1.0事件总线分析——SparkListenerBus详解》几篇文章的内容。 LiveListenerBus继承了SparkL...

2018-09-27 09:39:49

阅读数:768

评论数:6

Spark2.1.0事件总线分析——SparkListenerBus详解

阅读提示:阅读本文前,最好先阅读《Spark2.1.0之源码分析——事件总线》和《Spark2.1.0事件总线分析——ListenerBus的继承体系》。          有了《Spark2.1.0之源码分析——事件总线》文中对ListenerBus的定义及《Spark2.1.0事件总线分析—...

2018-09-18 10:07:03

阅读数:266

评论数:0

Spark2.1.0事件总线分析——ListenerBus的继承体系

阅读提示:阅读本文前,最好先阅读《Spark2.1.0之源码分析——事件总线》。          通过阅读《Spark2.1.0之源码分析——事件总线》一文,理解了ListenerBus的定义后,本小节一起来看看有哪些类继承了它。ListenerBus的类继承体系如图1所示。 图1  Li...

2018-09-11 09:43:08

阅读数:87

评论数:0

Spark2.1.0之源码分析——事件总线

         Spark定义了一个特质[1]ListenerBus,可以接收事件并且将事件提交到对应事件的监听器。为了对ListenerBus有个直观的理解,我们先来看看它的代码实现,见代码清单1。 代码清单1        ListenerBus的定义 private[spark] t...

2018-09-03 10:14:20

阅读数:724

评论数:0

spark2.1.0之源码分析——RPC客户端TransportClient详解

提示:阅读本文前最好先阅读: 《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC...

2018-08-28 10:48:46

阅读数:866

评论数:3

spark2.1.0之源码分析——RPC服务端引导程序TransportServerBootstrap

提示:阅读本文前最好先阅读: 《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC...

2018-08-20 10:56:59

阅读数:1763

评论数:4

spark2.1.0之源码分析——服务端RPC处理器RpcHandler详解

  提示:阅读本文前最好先阅读: 《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——...

2018-08-13 10:21:13

阅读数:533

评论数:1

spark2.1.0之源码分析——RPC传输管道处理器详解

提示:阅读本文前最好先阅读: 《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC...

2018-08-01 10:55:17

阅读数:223

评论数:1

spark2.1.0之源码分析——RPC管道初始化

提示:阅读本文前最好先阅读: 《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC...

2018-07-25 10:32:57

阅读数:1691

评论数:0

spark2.1.0之源码分析——RPC服务器TransportServer

提示:阅读本文前最好先阅读: 《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》        TransportServer...

2018-07-17 10:32:36

阅读数:360

评论数:0

spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory

提示:阅读本文前最好先阅读《Spark2.1.0之内置RPC框架》和《spark2.1.0之源码分析——RPC配置TransportConf》。      TransportClientFactory是创建传输客户端(TransportClient)的工厂类。在说明《Spark2.1.0之内置RP...

2018-07-10 10:16:52

阅读数:1016

评论数:0

spark2.1.0之源码分析——RPC配置TransportConf

         在《Spark2.1.0之内置RPC框架》提到TransportContext中的TransportConf给Spark的RPC框架提供配置信息,它有两个成员属性——配置提供者conf和配置的模块名称module。这两个属性的定义如下: private final Config...

2018-07-02 18:31:02

阅读数:528

评论数:0

Spark2.1.0之内置RPC框架

        在Spark中很多地方都涉及网络通信,比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等。在Spark 0.x.x与Spark 1.x.x版本中,组件间的消息通信主要借助于Akka[1],使用Akka可以轻松的构建...

2018-06-27 09:27:34

阅读数:969

评论数:2

spark2.1.0之配置与源码分析

      任何优秀的软件或服务都会提供一些配置参数,这些配置参数有些是内置的,有些则是可以由用户配置的。对于熟悉Java的开发人员来说,对JVM进行性能调优是一个经常需要面对的工作,这个过程常常伴随着各种JVM参数的调整与测试。之所以将这些参数交给具体的开发人员去调整,是因为软件或者服务的提供者...

2018-06-21 14:49:21

阅读数:379

评论数:2

Spark2.1.0之模型设计与基本架构

Spark编程模型      正如Hadoop在介绍MapReduce编程模型时选择word count的例子,并且使用图形来说明一样,笔者对于Spark编程模型也选择用图形展现。      Spark 应用程序从编写到提交、执行、输出的整个过程如图2-5所示。图2-5   代码执行过程图2-5中...

2018-06-12 09:41:32

阅读数:1153

评论数:6

Spark2.1.0之模块设计

在阅读本文之前,读者最好已经阅读了《Spark2.1.0之初识Spark》和《Spark2.1.0之基础知识》两篇文章。本文将主要介绍Spark2.1.0版本中的模块设计以及各个模块的功能和特点。整个Spark主要由以下模块组成:Spark Core:Spark的核心功能实现,包括:基础设施、Sp...

2018-06-05 10:00:02

阅读数:917

评论数:2

Spark2.1.0之基础知识

      在阅读本文之前,读者最好已经阅读了《Spark2.1.0之初识Spark》一文,本文将对Spark的基础知识进行介绍。但在此之前,读者先跟随本人来一次简单的时光穿梭,最后还将对Java与Scala在语言上进行比较。版本变迁    经过5年多的发展,Spark目前的版本是2.3.0。Sp...

2018-05-24 09:49:08

阅读数:1385

评论数:0

提示
确定要删除当前文章?
取消 删除