Netty
文章平均质量分 85
泰山不老生
耿嘉安,15年IT经验。《深入理解Spark》与《Spark内核设计的艺术》两书的作者。Apache Spark Contributor和MongoDB Contributor。曾就职于阿里巴巴,基于ODPS构建大数据商业解决方案——御膳房。曾负责艺龙大数据平台的架构工作。现在负责360对于Spark的运维、调优、扩展、开发等工作。在大量的工作实践中,对J2EE、JVM、Tomcat、Spring、Hadoop、Spark、MySQL、Redis、Zookeeper都有深入研究。早期从事J2EE企业级应用开发,对Java相关技术有独到见解。业余喜欢研究中国古代历史,古诗词,旅游,足球等。
展开
-
附录G Netty与NettyUtils
注:本文是为了配合《Spark内核设计的艺术 架构设计与实现》一书的内容而编写,目的是为了节省成本、方便读者查阅。书中附录G的内容都在本文呈现。 Netty是一个NIO客户端服务器框架,使得开发高性能、高可靠性的网络服务器和客户端程序变得快速且容易。它极大地简化化了网络编程,如TCP和UDP套接字服务器。 “快速和容易”并不意味着应用程序会有难维护和性能低的问题。Netty是一个精心设计的框架,...原创 2018-02-07 09:39:31 · 2869 阅读 · 0 评论 -
Spark2.1.0之内置RPC框架
在Spark中很多地方都涉及网络通信,比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等。在Spark 0.x.x与Spark 1.x.x版本中,组件间的消息通信主要借助于Akka[1],使用Akka可以轻松的构建强有力的高并发与分布式应用。但是Akka在Spark 2.0.0版本中被移除了,Spark官网文档对此...原创 2018-06-27 09:27:34 · 9366 阅读 · 3 评论 -
spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory
提示:阅读本文前最好先阅读《Spark2.1.0之内置RPC框架》和《spark2.1.0之源码分析——RPC配置TransportConf》。 TransportClientFactory是创建传输客户端(TransportClient)的工厂类。在说明《Spark2.1.0之内置RPC框架》文中的图1中的记号①时提到过TransportContext的createClientFact...原创 2018-07-10 10:16:52 · 2248 阅读 · 0 评论 -
spark2.1.0之源码分析——RPC服务器TransportServer
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 TransportServer是RPC框架的服务端,可提供高效的、低级别的流服务。在说明《Spark2.1.0之内置RPC框架》一文...原创 2018-07-17 10:32:36 · 1310 阅读 · 0 评论 -
spark2.1.0之源码分析——RPC管道初始化
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC服务器TransportServer》在《spark2.1.0之源码分析——RPC客户端工厂Tran...原创 2018-07-25 10:32:57 · 2507 阅读 · 0 评论 -
spark2.1.0之源码分析——RPC传输管道处理器详解
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC服务器TransportServer》 《spark2.1.0之源码分析——RPC管道初始化》 ...原创 2018-08-01 10:55:17 · 1169 阅读 · 0 评论 -
spark2.1.0之源码分析——服务端RPC处理器RpcHandler详解
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC服务器TransportServer》 《spark2.1.0之源码分析——RPC管道初始化》...原创 2018-08-13 10:21:13 · 3181 阅读 · 2 评论 -
spark2.1.0之源码分析——RPC服务端引导程序TransportServerBootstrap
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC服务器TransportServer》 《spark2.1.0之源码分析——RPC管道初始化》 《...原创 2018-08-20 10:56:59 · 2620 阅读 · 4 评论 -
spark2.1.0之源码分析——RPC客户端TransportClient详解
提示:阅读本文前最好先阅读:《Spark2.1.0之内置RPC框架》 《spark2.1.0之源码分析——RPC配置TransportConf》 《spark2.1.0之源码分析——RPC客户端工厂TransportClientFactory》 《spark2.1.0之源码分析——RPC服务器TransportServer》 《spark2.1.0之源码分析——RPC管道初始化》 《...原创 2018-08-28 10:48:46 · 2380 阅读 · 0 评论