SPARK-为啥spark用netty替换akka

最新推荐文章于 2022-04-29 15:13:49 发布
最新推荐文章于 2022-04-29 15:13:49 发布
阅读量431 收藏
点赞数 1
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34224565/article/details/112918374
版权
  1. 很多Spark用户也使用Akka，但是由于Akka不同版本之间无法互相通信，这就要求用户必须使用跟Spark完全一样的Akka版本，导致用户无法升级Akka。
  2. Spark的Akka配置是针对Spark自身来调优的，可能跟用户自己代码中的Akka配置冲突。
  3. Spark用的Akka特性很少，这部分特性很容易自己实现。同时，这部分代码量相比Akka来说少很多，debug比较容易。如果遇到什么bug，也可以自己马上fix，不需要等Akka上游发布新版本。而且，Spark升级Akka本身又因为第一点会强制要求用户升级他们使用的Akka，对于某些用户来说是不现实的。
  4. akka 是为了通信，不适合大数据量的传输，像hadoop flink hbase 这些后面都用netty 来做节点间数据的传输
  5. blockmanager已经要用netty传数据了，顺便实现个rpc成本不高，也不引入额外依赖。
    https://issues.apache.org/jira/plugins/servlet/mobile#issue/SPARK-5293
    https://www.zhihu.com/question/61638635
zdkdchao
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark 3.0.0 Application 提交集群原理和源码详解
10-16
Spark 3.0.0 Application 提交给集群的原理和源码详解，内容包括Spark Application 到底是如何提交给集群的：Application 提交参数配置详解、Application 提交给集群原理详解、Application 提交给集群源码详解；Spark Application 是如何向集群申请资源的：Application 申请资源的两种类型详解、Application 申请资源的源码详解；从Application 提交的角度重新审视Driver：Driver 到底是什么时候产生的、Driver 和Master 交互原理解析、Driver 和Master 交互源码详解；从Application 提交的角度重新审视Executor：Executor 到底是什么时候启动的、Executor 如何把结果交给Application；  Spark RPC 内幕解密：运行机制、源码详解、Netty 与Akka。
利用akka模拟Spark的Master与Worker通信
Maverick_曲流觞的博客
04-10 610
利用akka模拟Spark的Master与Worker通信,Master与Worker通信过程,Master实现,Worker实现
Akka模拟Spark通信架构过程
weixin_38650574的博客
04-29 344
本文我们深度剖析了Spark架构演变过程中使用到的多种RPC实现，以及其使用技术的原理，具体的架构设计思路，并且模拟其实现案例，希望可以具体详实说明内容。
【Flink原理和应用】：Flink内部通信组件Netty和Akka的区别
hxcaifly的博客
03-09 6518
1. 引言 Flink内部节点之间的通信是用Akka，比如JobManager和TaskManager之间的通信。而operator之间的数据传输是利用Netty。 Spark用Netty通信框架代替Akka，是不是Akka不好？其实他们各有优缺点。 2. 简单比较 Akka：它是基于协程的，性能不容置疑；基于scala的偏函数，易用性也没有话说，但是它毕竟只是RPC通信。 Netty：相比更加基...
Spark为何使用Netty通信框架替代Akka(TODO)
justlpf的专栏
06-08 721
参考文章：Spark为何使用Netty通信框架替代Akka 问题导读： 1. spark 如何在1.6.0之后使用Netty替代了Akka？ 2. Spark Network Common怎么实现？ 3. BlockTransfer 与 Shuffle 之间的联系？ 4. Akka 实现原理是什么？ 解决方案： 一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spark1.3.1版本开始，为了
akka-remote-transport-netty4:netty4 实现的 akka 远程传输
05-30
akka-remote-transport-netty4(deprecated) 一个新的实现基于 akka 流。不是开源的... ##现在只支持 TCP。在 UDP 上没有 SSL 没有 Docker 支持，很快就会添加，文档会在我不那么忙的时候更新。 像这样使用它 akka...
netty-spring-boot-starter:Netty与Spring Boot集成
03-19
netty-spring-boot-starter 基于Netty的Spring Boot Starter工程。 介绍 支持TCP长连接消息转发到Spring容器 支持自定义消息枚举类（ CommandController ， CommandMapping ） 支持自定义通信协议解析（ ...
netty-akka-template:带有Netty和Akka的入门Websocket服务器
05-07
带有Netty和Akka的入门Websocket服务器
spring-boot-starter-netty:Spring Boot的Netty容器
04-28
用于Spring Boot的原型Netty嵌入式servlet桥。 包括基本的过滤器和servlet支持。 我对Spring Boot还是很陌生，但是这种方法似乎适合servlet容器的自以为是的观点。 异步Servlet支持尚未完成。表现使用runTestApp ...
async-http-client:使用Netty实现的异步http客户端
05-14
异步HTTP客户端一个利用的异步http客户端，以及一种功能强大的方法，该方法受到了令人敬畏的DrBoolean及其项目和库的启发简单用法// create a new clientEventLoopGroup loop = new NioEventLoopGroup(1);...
akka的介绍
11-20
本文档描述了akka的作用及原理，及服务端和客户端之间的通信赋代码
Spark为何使用Netty通信框架替代Akka
热门推荐
psiitoy的专栏
08-24 1万+
转自：http://www.aboutyun.com/thread-21115-1-1.html 问题导读： 1. spark 如何在1.6.0之后使用Netty替代了Akka？ 2. Spark Network Common怎么实现？ 3. BlockTransfer 与 Shuffle 之间的联系？ 4. Akka 实现原理是什么？ 解决方案： 一
为什么spark 1.6之后使用Netty来替代Akka通信库？
简单就好
11-17 3615
Akka的底层是使用Netty，尽管Akka能简化消息通信的使用，但使用Akka要求message发送端和接收端有相同的版本（例如spark streaming的receiver接收上游消息要求上游的actor有相同的Akka版本）由于spark对Akka的使用主要限于RPC和单线程event loop，所以为了避免Akka造成的版本问题，给用户的应用更大灵活性，决定使用更通用的RPC实现，也就是
spark2.0为什么放弃了akka 而用netty?
Aying_seeyou的博客
09-09 1021
很多Spark用户也使用Akka，但是由于Akka不同版本之间无法互相通信，这就要求用户必须使用跟Spark完全一样的Akka版本，导致用户无法升级Akka。 Spark的Akka配置是针对Spark自身来调优的，可能跟用户自己代码中的Akka配置冲突。 Spark用的Akka特性很少，这部分特性很容易自己实现。同时，这部分代码量相比Akka来说少很多，debug比较容易。如果遇到什么bug，也可以自己马上fix，不需要等Akka上游发布新版本。而且，Spark升级Akka本身又因为第一点会强制要求用户升.
spark 如何用netty实现akka的actor模型
不说话装高手
01-30 2415
Spark的中，通过netty实现了类似akka的actor机制。 在spark中，一个EndPointData就类似一个akka中的actor。 private class EndpointData( val name: String, val endpoint: RpcEndpoint, val ref: NettyRpcEndpointRef) { v...
使用Akka实现简易的spark通信框架 实战（一）
Running_Tiger的博客
03-05 1240
使用Akka实现简易的spark通信框架 实战（一）1. 架构图2. 重要类介绍ActorSystem：在Akka中，ActorSystem是一个重量级的结构，他需要分配多个线程，所以在实际应用中，ActorSystem通常是一个单例对象，我们可以使用这个ActorSystem创建很多Actor。 注意： ActorSystem是一个进程中的老大，它负责创建和监督actor ActorSystem
Scala入门第十一篇--Akka实现简易版的spark通信框架
weixin_42229056的博客
10-17 626
本次我们介绍使用Akka实现简易的Spark通信框架，主要分为： Akka简介 提出需求 需求分析 代码示例 Akka简介 Akka基于Actor模型，提供了一个用于构建可扩展的（Scalable）、弹性的（Resilient）、快速响应的（Responsive）应用程序的平台。 Actor模型 在计算机科学领域，Actor模型是一个并行计算（Concurrent Computation）...
Spark内部通信/akka
ae5555的专栏
07-22 1522
Spark的Client、Master、Worker之间的通信使用akka完成。 模块之间的通信机制可以分为基于消息的传递和基于资源共享的同步机制。 在Spak中的Client、Master和Worker实际上都是一个actor。
Akka（一）：Akka的基本使用
Yuan_CSDF的博客
07-24 7991
1.akka是什么? akka是一种基于Scala的网络编程库，实现了RPC框架。spark在1.6之前使用的是akka进行通信，1.6及以后是基于netty。现阶段的Flink是基于Akka+Netty。如果需要了解Spark或者Flink的网络通信，就必须得从akka开始。 2.Akka中的方法 主类是在akka.actor.Actor，Endpoint 有三个重要的声明周期方法： prestart()：对象实例初始化之后自动执行 receive()： 核心业务...
spring-boot-starter-data-redis 为什么要排除 netty-common
最新发布
11-01
spring-boot-starter-data-redis是Spring Boot提供的一个用于集成Redis的starter，它会自动配置RedisTemplate和其他相关的...因此，在使用spring-boot-starter-data-redis时，需要排除netty-common依赖，以避免冲突。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值