为什么spark 1.6之后使用Netty来替代Akka通信库？

最新推荐文章于 2024-06-28 16:34:50 发布
最新推荐文章于 2024-06-28 16:34:50 发布
阅读量3.6k 收藏 3
点赞数 1
分类专栏： 自问自答 文章标签： 自问自答
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xwc35047/article/details/78558867
版权

Akka的底层是使用Netty，尽管Akka能简化消息通信的使用，但使用Akka要求message发送端和接收端有相同的版本（例如spark streaming的receiver接收上游消息要求上游的actor有相同的Akka版本）

由于spark对Akka的使用主要限于RPC和单线程event loop，所以为了避免Akka造成的版本问题，给用户的应用更大灵活性，决定使用更通用的RPC实现，也就是现在的Netty来替代Akka。

文章会同步到公众号，关注公众号，交流更方便：
在这里插入图片描述

xwc35047
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Akka使用netty网络通讯
zsj777的专栏
04-20 735
1、如果在配置文件中是否启用artery，actor的地址会有不同，关闭artery时一定要指定协议为akk.tcp! 比如在配置文件中定义种子节点时： artery.enabled = on seed-nodes = [ "akka://ClusterSystem@127.0.0.1:25251", "akka://ClusterSystem@127.0.0.1:25252"] artery.enabled = off seed-nodes = [ "akka.tcp://Simple
图解Spark源码（一）--- Spark 通信架构
qq_21744859的博客
10-23 1749
Spark1.6 之前使用的是 Akka 作为内部通讯组件，Spark1.6 之后将 Akka 换成了 Netty。但是它借鉴了 Akka 中的设计，即 Actor 模型。Spark 是一个分布式计算系统，因此节点间存在很多通信，那么Spark 就会借助这些通讯框架进行RPC 通信。driver 和 master 之间的通信，比如 driver 回向 master 申请计算资源。
Akka框架：Scala并发编程的瑞士军刀
最新发布
2401_85439108的博客
06-28 599
Akka是一个构建并发、分布式和容错应用程序的工具包和运行时。它以Actor模型为基础，提供了一种高效、可扩展的方式来处理并发任务。Akka框架为Scala并发编程提供了强大的支持，通过Actor模型简化了并发任务的处理。本文介绍了Akka的核心概念、组件以及如何在Scala中使用Akka进行并发编程。理解Akka的工作原理和使用方式，可以帮助开发者构建高效、可扩展和容错的应用程序。通过实际代码示例，我们了解了如何在Akka中创建Actor、发送消息、处理异步操作以及实现Actor的生命周期管理。
Spark为何使用Netty通信框架替代Akka
就问你吃不吃药
02-01 8142
解决方案 一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大数据块（如shuffle）的传输问题，Spark引入了Netty通信框架，到了1.6.0版本，Netty居然完全取代了Akka，承担Spark内部所有的RPC通信以及数据流传输。 网络IO扫盲
What are the differences between Akka and Netty?
weixin_34259232的博客
12-24 174
2019独角兽企业重金招聘Python工程师标准>>> ...
akka-remote-transport-netty4:netty4 实现的 akka 远程传输
05-30
akka-remote-transport-netty4(deprecated) 一个新的实现基于 akka 流。不是开源的... ##现在只支持 TCP。在 UDP 上没有 SSL 没有 Docker 支持，很快就会添加，文档会在我不那么忙的时候更新。 像这样使用它 akka { remote { startup-timeout = 10 s enabled-transports = ["akka.remote.netty4.tcp"] netty4 { tcp { port = 2554 } } } } } 之前的基准 Starting benchmark of 500000 messages with burst size 5000 and payload
netty-akka-template:带有Netty和Akka的入门Websocket服务器
05-07
在Netty和Akka中，Java API允许开发者用熟悉的Java语法来构建高效的网络应用。 5. **项目结构**：一个典型的Netty-Akka项目可能包含以下部分：配置文件、处理器类（处理网络事件）、actor系统配置、WebSocket握手...
Netty使用JSerialComm进行串口读取的更新库源代码及问题修正
04-02
Netty-Transport-jSerialComm升级版本（v2.0.0） 更新如下： 1）依赖的Netty从 4.1.13.Final版本升级到 4.1.82.Final版本 2）依赖的jSerialComm 从1.3.11版本升级到2.9.2版本 3）处理两个问题： 第一个问题是：...
Netty4+ProtoBuf通信框架
07-27
Netty4+ProtoBuf通信框架是一种高效的网络应用框架，它结合了Netty的高性能和Google的Protocol Buffers（ProtoBuf）的数据序列化能力，用于构建可伸缩、高并发的网络应用程序。在这个项目中，客户端和服务端之间的...
在使用netty进行网络通信协议传输使用protobuf时protobuf编译.proto文件生成JAVA类.zip
02-09
在使用netty进行网络通信协议传输使用protobuf时protobuf编译.proto文件生成JAVA类.zip 包括测试proto3.proto文件，自动protobuf编译.proto文件生成JAVA类
Spark为何使用Netty通信框架替代Akka(TODO)
justlpf的专栏
06-08 804
参考文章：Spark为何使用Netty通信框架替代Akka 问题导读： 1. spark 如何在1.6.0之后使用Netty替代了Akka？ 2. Spark Network Common怎么实现？ 3. BlockTransfer 与 Shuffle 之间的联系？ 4. Akka 实现原理是什么？ 解决方案： 一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spark1.3.1版本开始，为了
【Flink原理和应用】：Flink内部通信组件Netty和Akka的区别
hxcaifly的博客
03-09 6688
1. 引言 Flink内部节点之间的通信是用Akka，比如JobManager和TaskManager之间的通信。而operator之间的数据传输是利用Netty。 Spark用Netty通信框架代替Akka，是不是Akka不好？其实他们各有优缺点。 2. 简单比较 Akka：它是基于协程的，性能不容置疑；基于scala的偏函数，易用性也没有话说，但是它毕竟只是RPC通信。 Netty：相比更加基...
Java版Akka-Rpc实现与应用
bossfriday - 个人博客
03-07 1918
Akka框架作为Akka是一个以Actor模型为基础构建的基于事件的并发编程框架，由于Akka框架底层使用Scala语言实现，加之存在一些“月经”问题，因此使用JAVA基于Actor模型去现实了一个RPC，从大致上来说，可以将该RPC认为是一个JAVA版的Akka，不过，在实现的过程中一些处理方式又不尽相同。
Akka的三种应用场景
热门推荐
zhaoxiangchong的专栏
08-31 2万+
  什么是AKKA？ Akka是一个开发库和运行环境，可以用于 构建高并发、分布式、可容错、事件驱动的基于JVM的应用。 使构建高并发的分布式应用更加容易。Akka是把Actor Model模型进行了封装。可以理解为,异步,非阻塞的一个消息传递 第一种: 给AKKA发送一个字符串或者单个的数值 package day03 import scala.actors.Actor /** ...
spark2.0为什么放弃了akka 而用netty?
Aying_seeyou的博客
09-09 1074
很多Spark用户也使用Akka，但是由于Akka不同版本之间无法互相通信，这就要求用户必须使用跟Spark完全一样的Akka版本，导致用户无法升级Akka。 Spark的Akka配置是针对Spark自身来调优的，可能跟用户自己代码中的Akka配置冲突。 Spark用的Akka特性很少，这部分特性很容易自己实现。同时，这部分代码量相比Akka来说少很多，debug比较容易。如果遇到什么bug，也可以自己马上fix，不需要等Akka上游发布新版本。而且，Spark升级Akka本身又因为第一点会强制要求用户升.
第43课： Spark 1.6 RPC内幕解密：运行机制、源码详解、Netty与Akka等
段智华的博客
06-09 1724
第43课： Spark 1.6 RPC内幕解密：运行机制、源码详解、Netty与Akka等Spark 1.6推出了以RpcEnv、RPCEndpoint、RPCEndpointRef为核心的新型架构下的RPC通信方式，就目前的实现而言，其底层依旧是Akka；Akka是基于Actor的分布式消息通信系统，而在Spark 1.6中封装了Akka，提供更高层的Rpc实现，目的是移除对Akka的依赖，为扩
介绍下Netty，它为什么快？Netty的零拷贝是什么？
04-26
Netty是一个高性能的异步事件驱动的网络应用程序框架。它采用了NIO技术，可以处理大量的并发连接，且具备异步IO性能的优点。Netty使用了对JDK原生API的封装和优化，使用EventLoop进行异步事件处理，可以提高网络IO的效率，避免了传统IO阻塞式的缺点。 Netty的零拷贝是指在进行网络传输的过程中，数据不需要被复制多次。比如，当从磁盘读取数据后，传统方式需要将数据复制到操作系统的缓存中，再将其复制到应用程序的内存空间中，最后再将其复制到网络套接字缓存中，而Netty则可以避免这些多余的复制，从而提高了性能。具体的实现方式包括：使用ByteBuf代替Java IO中的ByteBuffer，使用文件映射，使用Socket的SENDFILE技术等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值