- 博客(5)
- 资源 (2)
- 收藏
- 关注
原创 SparkRPC源码分析之RPC管道与消息类型
SparkRPC源码分析之RPC管道与消息类型我们前面看过了netty基础知识扫盲,那我们应该明白,ChannelHandler这个组件内为channel的各种事件提供了处理逻辑,也就是主要业务逻辑写在该组建内。Spark的RPC也不会例外,因此我们看一下Spark的Handeler怎么调用的。在TransPortClientFactory初始化客户端之前有一条代码为TransportChann...
2019-05-17 14:43:26 480
原创 SparkRPC源码分析之Netty基础知识扫盲
SparkRPC源码分析之Netty基础知识扫盲在上面三篇文章中,我们介绍了Spark如何创建一个客户端和如何创建一个服务端。那么这些东西是什么呢?这就需要了解netty,而我本人是对netty不了解的。因此简单地看了一下netty需要的东西,写了以下简单的netty入门级程序。仅供参考服务端代码:import org.jboss.netty.bootstrap.ServerBootstra...
2019-05-10 16:53:38 258
原创 SparkRPC源码分析之TransportServer
SparkRPC源码分析之TransportServer在上一篇博客中写到了Transprotclient的初始化,也就是那个很重要的currentMap里面数据的初始化,本次分析服务端初始化过程。先看构造方法的源代码//创建一个TransportServer,绑定到给定主机和给定端口,(如果为0)绑定到任何可用的主机和端口。//如果不想绑定到任何特殊主机,请将“hostToBind”设置...
2019-05-09 18:17:56 203
原创 SparkRPC源码分析之TransportClientFactory
TransPortClientFactoryTransportClientFactory是创建TransportClient的工厂方法。该类是使用Java语言写的不是scala,主要方法为createClient方法.这里的是简单工厂模式,一般简单工厂模式使用的是if-else逻辑进行判断先看他的构造方法public TransportClientFactory( Transp...
2019-05-08 19:47:18 399
原创 SparkRPC源码分析之ConfigProvider
Spark配置信息Spark的配置信息读取一般都会通过ConfigProvider类来完成,该类是一个抽象类,它的一系列子类实现了从各种渠道中读取配置信息到内存中[Map]这里是一个javaMap不是ScalaMap代码如下所示package org.apache.spark.internal.configimport java.util.{Map => JMap}import ...
2019-05-07 18:55:29 297
winutils.zip
2019-06-12
hadoop,spark,hbase,zookeeper,kafka配置文件
2017-10-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人