大数据学习之路59-AkkaRPC通信

最新推荐文章于 2024-09-13 09:20:49 发布
最新推荐文章于 2024-09-13 09:20:49 发布
阅读量469 收藏 2
点赞数
分类专栏： 大数据生态圈从入门到精通
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/qq_37050372/article/details/82343586
版权
本文介绍了Akka，一个基于Actor模型的Scala库，用于构建高并发、分布式和容错的应用。文章详细讲解了Actor之间的通信机制、Actor的创建与管理，以及如何利用Akka实现简单RPC通信，包括心跳机制、Worker向Master注册、Master管理Worker的过程。
摘要由CSDN通过智能技术生成

什么是akka?

Akka

（Scala 编写的库）

Akka是JAVA虚拟机JVM平台上构建高并发、分布式和容错应用的工具包和运行时。Akka用Scala语言写成，同时提供了Scala和JAVA的开发接口。

Akka处理并发的方法基于Actor模型。在Akka里，Actor之间通信的唯一机制就是消息传递。

Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。它已经成功运用在电信行业。系统几乎不会宕机（高可用性 99.9999999 % 一年只有 31 ms 宕机）。

Actor模型并非什么新鲜事物，它由Carl Hewitt于上

了解本专栏 订阅专栏 解锁全文
未来@音律
关注
专栏目录
订阅专栏
【Flink】Flink akka RPC 相关解读
九师兄
11-13 1074
所不同的是，我们这里的返回为类型为CompletableFuture，因此，这里接着会调用AkkaRpcActor.sendAsyncResponse。这里rpc调用方法的返回值为非CompletableFuture类型，前面的调用流程与上面讲述的异步返回一样，所不同的是，由于方法返回值类型为非CompletableFuture，因此，这里调用了CompletableFuture.get，这里会一直阻塞，直待该CompletableFuture的完成。，由于这里要调用的并非本地方法，因此接着调用了方法。
002.flink源码分析之-基于akka的RPC在flink中的使用逻辑
colossus——bigdata的专栏
04-30 1224
flink使用akka作为底层RPC框架，实际上flink只是在组件之间的通信使用了akka，而task之间的数据传输使用的是netty框架。 Akka简介 akka通信框架有如下特点： 1、ActorSystem 是管理 Actor 生命周期的组件， Actor 是负责进行通信的组件 2、每个 Actor 都有一个MailBox，别的 Actor 发送给它的消息都首先储存在 MailBox 中，通过这种 方式可以实现异步通信。 3、每个 Actor是单线程的处理方式，不断的从 MailBox 拉取消息
大数据学习资料
03-25
大数据学习资料里面包含了：_数据挖掘原理.pdf、数据挖掘：概念与技术（原书第3版）.pdf、数据挖掘导论（完整版）.pdf等
大数据学习思路
从一点一滴做起
07-14 1825
学习大数据已经有一段时间了，抽空回顾一下自己学习的一些内容。下图主要为自己学习大数据的一个过程。 阶段一：Java基础 掌握JAVA基本语法、面向对象、集合、IO流、多线程、网络编程 阶段二：MySQL CRUD 阶段三：Linux 常用的操作命令 阶段四：Hadoop生态系统 ...
大数据学习
运维求生之路
08-03 1525
大数据学习笔记
【大数据】大数据学习
老莫的博客
03-16 1479
知乎专栏 https://dataquestion.com/   ============================================================ 欢迎关注公众号：程序员面试经验分享(jobbible)
大数据学习（一）
西木风落
01-21 747
一、大数据关键技术     大数据特点：4V，数据量大、数据类型多、处理速度快、价值密度低。    大数据的关键技术包括：数据采集、 数据存储和管理、 数据的分析和处理、数据的隐私和安全。其中，分布式存储和分布式处理是大数据技术的核心。   大数据计算模式：   批处理计算                            针对大规模数据的批量处理
scala-akka实现简单的分布式RPC通信框架（主从监听，消息发送）
zhangyunfeixyz的博客
01-06 750
简介：模拟用akka实现一个RPC分布式通信框架，实现从机向主机发送心跳，主机判断从机是否挂机，以及消息通信的简单功能。 开发平台：IntelliJ IDEA     Maven架构 项目结构及依赖： 代码2个样例类： case class Workinfo (val id:String) extends Serializable{ } case class SendHearB
【Flink】网络通信剖析-RPC通信源码
最新发布
smallbag66666的博客
09-13 160
RPC，即远程过程调用（Remote Procedure Call），是一种通过网络从远程计算机程序上请求服务的技术，而无需了解底层网络技术的协议。在RPC中，客户机和服务器位于不同的机器上，客户端通过网络调用在服务器端运行的过程，并将结果发送回客户机。这种技术允许程序像调用本地过程一样调用远程过程，使得跨平台、跨机器的服务调用成为可能。
Spark大数据内核天机解密- to 丁立清.pdf
12-24
Shuffle是Spark处理大数据的关键步骤之一，主要用于重新分布数据以便进行聚合操作。 **1.1 Shuffle框架演进** 随着Spark的发展，Shuffle机制也在不断演进，以提高效率和减少资源消耗。 **1.2 Shuffle框架内核** ...
大数据学习笔记.pdf
11-03
目录 第一部分 Spark学习 ....................................................................................................................... 6 第1章 Spark介绍 ................................................................................................................... 7 1.1 Spark简介与发展 ...................................................................................................... 7 1.2 Spark特点 .................................................................................................................. 7 1.3 Spark与Hadoop集成 ................................................................................................ 7 1.4 Spark组件 .................................................................................................................. 8 第2章 Spark弹性分布数据集 ............................................................................................... 9 2.1 弹性分布式数据集 .................................................................................................... 9 2.2 MapReduce数据分享效率低..................................................................................... 9 2.3 MapReduce进行迭代操作 ........................................................................................ 9 2.4 MapReduce进行交互操作 ...................................................................................... 10 2.5 Spark RDD数据分享 ............................................................................................... 10 2.6 Spark RDD 迭代操作 .............................................................................................. 10 2.7 Spark RDD交互操作 ............................................................................................... 10 第3章 Spark安装 ................................................................................................................. 11 第4章 Spark CORE编程 ....................................................................................................... 13 4.1 Spark Shell ........................................................
大数据之Akka
大数据同盟会的博客
04-20 315
Scaka里，Actor被废弃，由Akka代替。 分布式架构底层通信都是通过RPC实现的，Spark的RPC是通过Akka类库实现的，而Akka是用Scala语言开发，基于Actor实现。 一、Akka的角色 ActorSystem: 当前进程中Actor的老大，负责创建并监控actor; 它是单例的 actor: 负责通信 二、实现一个简单的RPC框架 1、编写一个master package cn.itcast.rpc import akka.actor.{Actor, ActorRef, Acto
大数据入门学习
orange2211的专栏
03-26 4218
https://www.cnblogs.com/xing901022/p/6195422.html
大数据学习之路
东语的专栏
11-04 2123
目录   一、发展趋势 二、使用技术 三、高校课程大纲建议 一、发展趋势         大数据开启了一次重大的时代转型，正在改变我们的生活以及理解世界的方式，而更多的改变正在蓄势待发。         据估算，全球数据总量预计2020年达到44个ZB（1ZB=10亿TB=1万亿GB），我国数据量将达到8060个EB，占全球数据总量的18%。大数据已经撼动了世界的方方面面，从商业科技...
怎么学习大数据
weixin_41780944的博客
07-11 381
大数据开发学习内容：Java语言基础：Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射，多线程、Swing程序与集合类；HTML、CSS与JavaScript：PC端网站布局、HTML5+CSS3基础、WebAPP页面布局、原生javascript交互功能开发、Ajax异步交互、jQuery...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

未来@音律

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值