【Flink】FLink Akka Current version of akka xxx but akka-http requires version xxx

最新推荐文章于 2022-12-23 23:45:00 发布
最新推荐文章于 2022-12-23 23:45:00 发布
阅读量454 收藏
点赞数
分类专栏： 大数据-flink 文章标签： Flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/123727440
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
Flink运行时遇到版本冲突错误，由于不同模块中包含的Akka版本不一致导致。通过排除不必要的Akka依赖，解决了这个问题。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

FLink运行报错FLink Akka Current version of akka xxx but akka-http requires version xxx。具体如下
在这里插入图片描述
这个是 是版本依赖冲突造成的，排除了依赖就好了。有两个不同的模块，父子工程，里面有两个不一样的包包含了相同的akka。排除掉了其中一个akka依赖

九师兄
关注
专栏目录
订阅专栏
【Flink】Flink 任务报错 akka remote connection TooLongFrameException adjusted frame length discarded
九师兄
12-22 3226
taskmanager一直报这个告警，运行一段时间后taskmanager会挂了，这是什么原因导致的？错误如下看起来是netty传输的时候帧太大了。目前尝试把内存调大一点，任务还算稳定，但告警还在。然后去看看源码，在flink所有源码中查询 只发现一个地方配置了参数但是这个参数，又好像被排除了请看下面这里这个插件的使用请参考：然后查看这个参数的说明/**可以看到这个参数默认的值1.25MB，但是被弃用了，建议使用，我们去看看这个参数有啥用。这个参数在定义如下/**
Flink 1.13 源码解析前导——Akka通信模型
EdwardWang_的博客
08-25 1412
Flink 1.13 源码解析前导之Akka通信模型，通过本章了解Akka是如何使用的
You are using version 6.4.1 of the AdMob SDK which is non-compliant with the Google Play Ad Policy
herryy的专栏
05-26 1899
You are using version 6.4.1 of the AdMob SDK which is non-compliant with the Google Play Ad Policy (http://goo.gl/6OZelH). On August 1st, 2014, Google Play will stop accepting updates to apps using th
You are using version 4.2.1 of make
Jun626的博客
07-25 899
二维码是我创建的QQ群，欢迎新朋友加入。 编译安卓源码 报错 root@ubuntu:/home/jun/a33/android/android# make -j8 build/core/main.mk:45: ******************************************************************************** build/core/main.mk:46: * You are using version 4.2.1 of make. b...
Builder (android.content.Context, String) in Builder cannot be applied(android通知）
qq_44280408的博客
01-06 2580
Builder (android.content.Context, String) in Builder cannot be applied(android通知） 《第一行代码》通知出错原因： 第一点注意： 书上说要引入support-v4，现在用的大多都是support-v7，本来就已经自动引入； android版本更新， NotificationCompat.Builder方法更新，参数改变...
Akka在Flink中的使用剖析
VinoYang的专栏
04-14 1万+
Akka与Actor 模型Akka是一个用来开发支持并发、容错、扩展性的应用程序框架。它是actor model的实现，因此跟Erlang的并发模型很像。在actor模型的上下文中，所有的活动实体都被认为是互不依赖的actor。actor之间的互相通信是通过彼此之间发送异步消息来实现的。每个actor都有一个邮箱来存储接收到的消息。
【Flink】Flink The rpc invocation size %d exceeds the maximum akka framesize
九师兄
12-23 560
flink 1.10 作业在出错重启的过程中，jobmanager一直报的错误看了一下，这个方法是进行rpc远程调用的时候，序列化对象的大小超过了长度，但是我不是很明白，如果超过了这个长度，不是应该第一次启动的时候都不行吗？我设置的并行度是10，如果启动成功，会启动10个taskmanager，而且启动另外9个taskmanager都没有错，启动第10个的时候就会报错。我是基于yarn来运行的。每个taskmanager一个slot。
Flink实战(七) Streaming（DataStreaming） 总览
wuhulala的休息室
10-20 1384
文章目录Flink DataStream API Programming Guide示例程序数据源 Data Sources基于文件的基于Socket的自定义数据转换 （DataStream Transformations）数据接收器 Data Sinks写入文件终端打印写入Socket自定义接收器Iterations 迭代Execution ParametersFault Tolerance 容...
Flink部署及作业提交
qq_32165517的博客
08-26 1413
Flink部署及作业提交 Flink源码编译 Setup: Download and Start Flink Flink runs on Linux, Mac OS X, and Windows. To be able to run Flink, the only requirement is to have a working Java 8.x installation. Windows users, please take a look at the Flink on Windows guide whi
Flink容错机制第五篇 Akka基本概念
lishinho的博客
05-26 566
上一篇谈到Flink的checkpoint通信的消息驱动用到了Akka，这篇就简介一下Akka的actor模型，并尽可能复习一些以往的框架和多线程知识。 一，基础概念 了解Akka是什么之前，要知道一些我们常见且常用的基础概念。 1. 并发与并行（Concurrency & Parallelism) 并发和并行概念类似但有不同，并发指的是两个或多个任务能一同进行下去，但不一定会在同...
AKKA HTTP：限制访问接口服务的请求HOST
A coder of life
09-21 773
接口服务部署上线后，需要对请求方进行限制，主要是限制请求的主机，只有指定主机发过来的请求才被受理，否则拒绝服务。akka http的API中的HostDirectives可实现此项功能，有以下三个可选项供选择： def host(hostNames: String*): Directive0 def host(predicate: String ⇒ Boolean): Directive0 d...
Flink对接Kafka常见问题与解决方案
地推日记
08-28 6344
1.Flink对接kafka出现数据倾斜 问题现象 使用FlinkKafkaProducer进行数据生产过程中数据只写到了kafka的部分分区中，其它的分区没有数据写入。 可能原因1：Flink写kafka使用的机制与原生接口的写入方式是有差别的，在默认情况下，Flink使用了并行度编号和分区数量做取模运算计算出来。那么会有以下两种场景： 1. 并行度%分区数量=0，表示并行度是kafkatopic分区数的多倍，数据的写入每个分区数据量是均衡的。 2. 并行度%分区数量≠...
【Flink实战系列】Flink各种报错汇总及解决方案(实时更新中)
热门推荐
JasonLee实时计算
01-25 3万+
这篇文章主要用来记录一下Flink中的常见的报错以及解决方案(以后会持续更新) 1,Table is not an append-only table. Use the toRetractStream() in order to handle add and retract messages. 这个是因为动态表不是append-only模式的,需要用toRetractStream(回撤流)处理...
apache-tomcat-8.5.98-windows-x64.zip
09-27
apache-tomcat-8.5.98-windows-x64.zip
基于Springboot和Vue的疫情管理系统源码 疫情管理系统代码（程序，中文注释）
09-27
疫情管理系统-疫情管理系统-疫情管理系统-疫情管理系统-疫情管理系统-疫情管理系统-疫情管理系统-疫情管理系统-疫情管理系统-疫情管理系统-疫情管理系统-疫情管理系统 1、资源说明：疫情管理系统源码，本资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 2、适用人群：计算机相关专业(如计算计、信息安全、大数据、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工等学习者，作为参考资料，进行参考学习使用。 3、资源用途：本资源具有较高的学习借鉴价值，可以作为“参考资料”，注意不是“定制需求”，代码只能作为学习参考，不能完全复制照搬。需要有一定的基础，能够看懂代码，能够自行调试代码，能够自行添加功能修改代码。 4. 最新计算机软件毕业设计选题大全(文章底部有博主联系方式): https://blog.csdn.net/2301_79206800/article/details/135931154 技术栈、环境、工具、软件： ① 系统环境:Windows ② 开发语言：Java ③ 框架：SpringBoot ④ 架构:B/S、MVC ⑤ 开发环境:IDE
暴风电视刷机数据 40X 机编600000MW303 600000MWG03 风UI1.0升风UI3.0 强制升级
09-27
务必确认机身编号与文件名机编一致，如不一致，请勿下载 机身编号一般在机子背面的贴纸上 MSD6A338平台升级步骤 强制升级（不开机强制升级）： 1、下载数据，压缩包解压，将BFTVUpdate338.bin拷贝至U盘根目录下，插入电视USB端口 2、插拔下电源，按一下遥控器待机键后快速不停的点按遥控器上键触发主板识别U盘软件进行升级 3、升级成功需运行至100%，此时耐心等待电视自动操作，切勿断电或拔掉U盘 4、系统升级后第一次重启系统需要3分钟左右，属于正常现象，切勿断电 升级完成后可以在系统设置——本机信息——查询软件版本更新状态 注意： 1、U盘要求使用FAT32格式，建议4G-8G的品牌U盘，刷机成功率会高 2、升级到结束，大约需要8-30分钟，中途绝对不能断电 3、升级重启第一次进入系统，请等完全正常进入开机桌面之后，才能拨下U盘
全球3D透明膜包装机行业总体规模、主要企业国内外市场占有率及排名（2024版）.docx
09-27
全球3D透明膜包装机行业总体规模、主要企业国内外市场占有率及排名（2024版）.docx
quickai-2.0.0-py3-none-any.whl
最新发布
09-27
quickai-2.0.0-py3-none-any.whl
Flink 中akka的使用
03-31
Apache Flink是一个分布式数据处理引擎，它支持多种数据处理模式和场景。在Flink中使用Akka可以帮助我们更好地管理分布式系统中的状态和通信。 Akka是一个用于构建高度并发、分布式和容错应用程序的工具包。它提供了一个Actor系统，通过Actor进行通信，可以更好地处理并发和容错问题。 在Flink中使用Akka，可以通过以下步骤实现： 1. 引入Akka库 在Flink的pom.xml文件中添加以下Akka相关的依赖： ``` <dependency> <groupId>com.typesafe.akka</groupId> <artifactId>akka-actor_2.11</artifactId> <version>2.4.0</version> </dependency> <dependency> <groupId>com.typesafe.akka</groupId> <artifactId>akka-remote_2.11</artifactId> <version>2.4.0</version> </dependency> ``` 2. 创建ActorSystem 在Flink的程序入口处，创建一个ActorSystem： ``` val actorSystem = ActorSystem("flink-actor-system") ``` 3. 创建Actor 在ActorSystem中创建一个Actor： ``` class MyActor extends Actor { def receive = { case "hello" => println("hello") case _ => println("unknown message") } } val myActor = actorSystem.actorOf(Props[MyActor], "my-actor") ``` 4. 发送消息 在Flink的处理逻辑中，可以通过发送消息的方式与Actor进行通信： ``` myActor ! "hello" ``` 以上就是在Flink中使用Akka的基本流程。需要注意的是，在分布式环境中，需要配置Akka的远程通信参数。具体可以参考Akka官方文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值