【Flink】FLink 通讯组件 Akka与Actor 模型

最新推荐文章于 2024-04-15 03:51:43 发布
最新推荐文章于 2024-04-15 03:51:43 发布
阅读量418 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/119711557
版权
大数据-flink 专栏收录该内容
839 篇文章 853 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细介绍了Flink如何使用Akka进行分布式通信，包括Actor模型的概念，Akka ActorSystem的创建，以及异步消息通信的tell和ask方式。Flink中的Actors用于JobManager和TaskManager间的通信，保证了系统的并发性和扩展性。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

本博客是 视频的笔记，这个是讲解 flink 1.12 源码的，入门非常的好。

尚硅谷2021最新Flink内核源码解析课程（从入门到精通）

2.介绍

Flink内部节点之间的通信是用Akka，比如JobManager和TaskManager之间的通信。而operator之间的数据传输是利用Netty。

Flink通过Akka进行的分布式通信的实现，在0.9版中采用。使用Ak

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink】FLink 通讯组件 RPC
九师兄
08-15 263
1.概述 本文是视频的笔记。 尚硅谷2021最新Flink内核源码解析课程（从入门到精通） 2. RPC 通讯过程 2.1 RpcGateway Flink的RPC协议通过RpcGateway 来定义，主要定义通信行为;用于远程调用RpcEndpoint的某些方法，可以理解为对方的客服端代理。 若想与远端Actor 通信，则必须提供地址(ip 和port)， 如在Flink-on-.
Flink通讯模型—Akka与Actor模型，不愧是阿里大佬
最新发布
2401_84164503的博客
04-15 1182
在Actor模型中，actor是一个并发原语，简单的说，一个actor就是一个工人，与进程或线程一样都能够工作或处理任务。为了使得系统尽可能快速的失败，如果一个actor还没开始，超时时间需要被设置的比较小。每个actor都有一个邮箱，该邮箱接收并缓存其他actor发过来的消息，actor一次只能同步处理一个消息，处理消息过程中，除了可以接收消息，不能做任何其他操作。这就是actor模型的本质。对于已经处理过的消息的结果，actor可以改变它自身的内部状态或者发送一个新消息或者孵化一个新的actor。
Flink 1.13 源码解析前导——Akka通信模型
EdwardWang_的博客
08-25 1398
Flink 1.13 源码解析前导之Akka通信模型，通过本章了解Akka是如何使用的
【Flink原理和应用】：Akka和Actors
hxcaifly的博客
12-14 2386
原文：https://cwiki.apache.org/confluence/display/FLINK/Akka+and+Actors#space-menu-link-content 前言 本文重点讨论Flink通过Akka实现分布式通信，Akka在Flink 0.9版本中已经开始采用。使用Akka，所有远程过程调用过程都实现为异步消息。这主要影响组件JobManager、TaskManag...
95-848-020-源码-AKKA-Akka与Actor 模型
九师兄
04-24 335
Akka是一个用来开发支持并发、容错、扩展性的应用程序框架。它是actor model的实现，因此跟Erlang的并发模型很像。在actor模型的上下文中，所有的活动实体都被认为是互不依赖的actor。actor之间的互相通信是通过彼此之间发送异步消息来实现的。每个actor都有一个邮箱来存储接收到的消息。因此每个actor都维护着自己独立的状态。每个actor是一个单一的线程，它不断地从其邮箱中poll(拉取)消息，并且连续不断地处理。
【Flink】Flink akka RPC 相关解读
九师兄
11-13 1065
所不同的是，我们这里的返回为类型为CompletableFuture，因此，这里接着会调用AkkaRpcActor.sendAsyncResponse。这里rpc调用方法的返回值为非CompletableFuture类型，前面的调用流程与上面讲述的异步返回一样，所不同的是，由于方法返回值类型为非CompletableFuture，因此，这里调用了CompletableFuture.get，这里会一直阻塞，直待该CompletableFuture的完成。，由于这里要调用的并非本地方法，因此接着调用了方法。
002.flink源码分析之-基于akka的RPC在flink中的使用逻辑
colossus——bigdata的专栏
04-30 1210
flink使用akka作为底层RPC框架，实际上flink只是在组件之间的通信使用了akka，而task之间的数据传输使用的是netty框架。 Akka简介 akka通信框架有如下特点： 1、ActorSystem 是管理 Actor 生命周期的组件， Actor 是负责进行通信的组件 2、每个 Actor 都有一个MailBox，别的 Actor 发送给它的消息都首先储存在 MailBox 中，通过这种 方式可以实现异步通信。 3、每个 Actor是单线程的处理方式，不断的从 MailBox 拉取消息
flink akka
codemosi的专栏，点击我可以跳到目录一栏
11-20 606
/*  * Licensed to the Apache Software Foundation (ASF) under one  * or more contributor license agreements.  See the NOTICE file  * distributed with this work for additional information  * regardi
Scala 并发编程模型Akka（一） Akka简介
ChengYanan的博客
10-17 705
Akka是JVM平台上构建高并发、分布式和容错应用的工具包和运行时，也可以理解成是编写并发程序的框架。 Akka用Scala语言写成，同时提供了Scala和JAVA的开发接口。 Akka主要解决的问题是：可以轻松的写出高效稳定的并发程序，程序员不再过多的考虑线程、锁和资源竞争等细节。 Actor 模型用于解决什么问题 处理并发问题关键是要保证共享数据的一致性和正确性，因为程序是多线程时，多个线程对同一个数据进行修改，若不加同步条件，势必会造成数据污染。但是当我们对关键代码加入同步条件synchroni.
Flink底层实现Akka
百看不如一RUN
03-13 3447
Flink的RPC实现：是基于Scala的网络编程库Akka来的。 Akka的特点 它是对并发模型进行了更高的抽象 它是异步、非阻塞、高性能的事件驱动编程模型 它是轻量级事件处理（1GB内存可以以容纳百万级别的Actor） Akka简介 Akka是一个网络编程库 ActorSystem是管理Actor生命周期的组件，Actor是负责进行通信的组件 每个Actor都有一个MailBox（在Flink源码中经常可以看到，checkpoint通知就是基于此），别的Actor发送给它的消息都是首先存储在Mai
Akka在Flink中的使用剖析
热门推荐
VinoYang的专栏
04-14 1万+
Akka与Actor 模型Akka是一个用来开发支持并发、容错、扩展性的应用程序框架。它是actor model的实现，因此跟Erlang的并发模型很像。在actor模型的上下文中，所有的活动实体都被认为是互不依赖的actor。actor之间的互相通信是通过彼此之间发送异步消息来实现的。每个actor都有一个邮箱来存储接收到的消息。
【Flink系列】之 Akka和Actors
荔子的博客
05-19 1745
本文翻译自https://cwiki.apache.org/confluence/display/FLINK/Akka+and+actors Akka和Actors 本页讨论了Flink 0.9版本采用的Akka分布式通信的实现。有了Akka，所有的远程过程调用(RPC)被实现成异步消息。这主要影响了JobManager、TaskManager和JobClient三个组件。未来，很可...
Flink容错机制第五篇 Akka基本概念
lishinho的博客
05-26 562
上一篇谈到Flink的checkpoint通信的消息驱动用到了Akka，这篇就简介一下Akka的actor模型，并尽可能复习一些以往的框架和多线程知识。 一，基础概念 了解Akka是什么之前，要知道一些我们常见且常用的基础概念。 1. 并发与并行（Concurrency & Parallelism) 并发和并行概念类似但有不同，并发指的是两个或多个任务能一同进行下去，但不一定会在同...
akka和netty在flink和spark中的使用
2401_84150320的博客
04-11 1224
外链图片转存中…(img-wfuPOYi9-1712824516063)][外链图片转存中…(img-RmqEfw8f-1712824516063)][外链图片转存中…(img-Z2ZVG6vd-1712824516064)]
聊聊flink的ActorGateway
weixin_34062469的博客
03-16 113
序 本文主要研究一下flink的ActorGateway ActorGateway flink-1.7.2/flink-runtime/src/main/java/org/apache/flink/runtime/instance/ActorGateway.java public interface ActorGateway extends Serializable { /** * Sen...
Flink通讯模型—Akka与Actor模型(2)，2024年最新2024年大数据开发开发者跳槽指南
2401_84164503的博客
04-15 1022
其中Dispatcher、ResourceManager、JobMaster是JobManager进程中的Rpc服务，TaskExecutor是TaskManager进程中的Rpc服务，MetricQueryService在JobManager和TaskManager进程中都有。其中：第一个参数为消息，它可以是任何可序列化的数据或对象，第二个参数表示发送者，通常来讲是另外一个 Actor 的引用， ActorRef.noSender()表示无发送者（（实际上是一个叫做deadLetters的Actor）。
flink网络通信剖析（组件rpc通信）并基于akka实现rpc框架
weixin_45626756的博客
12-20 1537
背景 最近阅读了flink 1.10版本网络通信部分的相关源码，网络部分主要有两块： 组件之间的rpc调用(akka) taskManager之间的数据传输(netty实现) 本文主要解析flink底层是如何使用akka封装的rpc，并模仿flink的设计方式，基于akka实现一个简单的rpc通信框架。 组件RPC通信架构 flink底层的rpc调用主要分为RpcEndPoint、RpcService、RpcServer、GateWay三个模块。 RpcEndPoint：每个组件的基本实现，主要包含
Flink中基于Akka的RPC实现
shirukai
11-18 2564
Flink中基于Akka的RPC实现 版本说明：Flink: 1.10.1 1 前言 Flink中RPC是基于Akka实现的，在上一篇文章《使用Akka实现简单RPC框架》中，使用Akka的基本API加上Java动态代理实现了一个简单的RPC框架，对Akka不太熟悉的同学可以先参考那篇文章手写一下代码，然后再来阅读这篇文章会更好的理解Flink的RPC实现，基本原理都是一样的。我也是先看的Akka相关知识，然后再重新阅读的Flink代码，不得不承认，我上一篇文章的实现并没有Flink中实现的优雅，确实有
深入解析Flink源码：执行流程与核心组件
StreamOperator是Flink的核心组件，文档详细讨论了不同类型算子的抽象实现，如数据源（`StreamSource`）和时间模型，以及如何处理数据输入和处理过程，包括`OneInputStreamOperator`和`AbstractUdfStreamOperator`。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值