【Flink】Flink 任务报错 akka remote connection TooLongFrameException adjusted frame length discarded

已于 2024-02-03 10:29:35 修改
阅读量2.9k 收藏 2
点赞数
分类专栏： 大数据-flink 文章标签： flink big data java
于 2021-12-22 23:15:03 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/121760920
版权
大数据-flink 专栏收录该内容
837 篇文章 829 订阅 ¥99.90 ¥99.00
订阅专栏

文章目录


在这里插入图片描述

1.概述

taskmanager一直报这个告警，运行一段时间后taskmanager会挂了，这是什么原因导致的？

错误如下

在这里插入图片描述
看起来是netty传输的时候帧太大了。目前尝试把内存调大一点，任务还算稳定，但告警还在。

然后去看看源码，在flink所有源码中查询 只发现一个地方配置了参数
org.apache.flink.configuration.ConfigConstants#DEFAULT_AKKA_FRAMESIZE

但是这个参数，又好像被排除了

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
【netty】 io.netty.handler.codec.TooLongFrameException
九师兄
05-11 2万+
背景 做netty权威指南的私有协议开发，案例报错如 io.netty.handler.codec.TooLongFrameException: Adjusted frame length exceeds 1048576: 795898487 - discarded at io.netty.handler.codec.LengthFieldBasedFrameDecoder.fail(Lengt...
Flink Phoenix connector依赖包
06-02
flink sql读写phoenix所使用到的连接器依赖包： flink-sql-connector-phoenix-1.14-1.0.jar 使用示例： create table tab2( ID STRING, NAME STRING, PRIMARY KEY (ID) NOT ENFORCED )WITH( 'connector' = 'phoenix-jdbc', 'driver'='org.apache.phoenix.jdbc.PhoenixDriver', 'org.apache.flink.connector.phoenix.schema.isNamespaceMappingEnabled'='true', 'org.apache.flink.connector.phoenix.schema.mapSystemTablesToNamespace'='true', 'url' = 'jdbc:phoenix:192.168.71.00:2181/hbase', 'table-name' = 'ODS.TEST1' ) 有问题随时给我私信~
[Spring Cloud Alibaba] Adjusted frame length exceeds 8388608
u012433915的专栏
04-05 5211
2020-11-12 10:47:48.952 INFO [NettyServerNIOWorker_1_8]io.seata.core.rpc.netty.AbstractRpcRemotingServer.exceptionCaught:278 -channel exx:Adjusted frame length exceeds 8388608: 539976035 - discarded,channel:[id: 0xe40eb690, L:/192.168.2.47:9091 - R:/192.16
Adjusted frame length exceeds 4096: 5637 - discarded 服务端解决
热门推荐
weixin_44055686的博客
05-06 2万+
解决服务端Adjusted frame length exceeds 4096: 5637 - discarded问题1. 具体错误2. 错误原因3. 解决方法 1. 具体错误 下面展示一些 错误详情。 io.netty.handler.codec.TooLongFrameException: Adjusted frame length exceeds 4096: 18247 - discarde...
netty实现tcp通信服务端出现数据粘包问题解决办法
feinifi的博客
03-08 1391
这里介绍两种解决办法：1、利用LengthFieldBasedFrameDecoder解码器 2、设置自定义编解码。 一般出现数据粘包问题很难复现，因为在开发中，我们都是模拟发数据，真正上线了，我们的数据发送就没有什么规律，可能很快，也可能慢，频率不同，难以捕捉问题，但是肯定会出现一些粘包问题。 所谓粘包，就是接收的数据，无法分开，一个包的数据可能是两个或者多个报文记录，我们需要严格按照报文格式将这些合在一起的包拆开。思路就是要么报文有严格的分隔符，要么定长，再就是自定义解码器...
flink实战--开发中常见的错误与问题
阿华田的博客
12-19 1万+
常见错误集 1.Checkpoint失败：Checkpoint expired before completing env.enableCheckpointing(1000L) val checkpointConf = env.getCheckpointConfig checkpointConf.setMinPauseBetweenCheckp...
elasticsearch 警告 org.jboss.netty.handler.codec.frame.TooLongFrameException: HTTP content length exce
u013568834的专栏
03-10 1万+
在测试中遇到的一些问题 elasticsearch日志中出现警告 [WARN ][http.netty ] [Banshee] Caught exception while handling client http traffic, closing connection [id: 0x61615783, /127.0.0.1:37923 => /127.0.0.
flink 写hbase 报KeyValue size too large 异常
m0_65850671的博客
10-11 954
hbase 报KeyValue size too large 异常
Flink单任务恢复和区域检查点.pdf
03-13
Flink单任务恢复和区域检查点.pdf
grafana-Flink 任务监控.json
05-24
grafana上Flink 任务监控使用的json文件，基于flink-1.15.x版本
big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
05-13
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。 服务基于Spring...
netty长度协议分包问题
weixin_44055686的博客
03-31 1486
title: netty分包粘包问题 date: 2021-03-30 14:16:33 categories: 并发、netty #分类 tags: [锁netty,并发,分包粘包] #文章标签，可空，多标签请用格式，注意:后面有个空格 description: netty自定义协议，实现分包粘包问题。 typora-copy-images-to: netty 基于长度协议的分包 注：本文 length 均为 16进制表示，eg: 1232 ==> 04D0 文章目录基于长度协议的分包1. 业.
TooLongFrameException,message:An HTTP line is larger than 4096 bytes.
微服务技术与实践专栏
05-07 5102
异常日志如下： [2019-05-06 16:27:49,837] [transport-vert.x-eventloop-thread-4] [ERROR] o.a.s.t.rest.vertx.RestServerVerticle 123 -- [] Unexpected error in server.cause:TooLongFrameException,message:An HTTP l...
Flink on Yarn报错：Container released on a *lost* node
qq_32068809的博客
01-06 2492
flink任务提交到yarn执行几天后报错： 2022-01-05 15:09:26,288 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] - Completed checkpoint 89574 for job cc0abb4a3cd870b2a9e1abc7235ceb91 (3528 bytes in 610 ms). 2022-01-05 15:09:29,544 WARN akka.remote.R
无语了，Topic太多！RocketMQ炸了！
wdj_yyds的博客
05-17 365
网上博客常说，kafka的topic数量过多会影响kafka，而RocketMQ不会受到topic数量影响。但是，果真如此吗？最近排查一个问题，发现RocketMQ稳定性同样受到topic数量影响！！好了，一起来回顾下这次问题排查吧，和放在最后，千万不要错过。
flink任务报错java.util.NoSuchElementException: No value present in Option
最新发布
09-16
这个错误通常表示在使用 `Option` 类型时，没有值可用。`Option` 是一个可以有可选值的容器类，它可以是 `Some`（有值）或 `None`（没有值）。 要解决这个问题，你可以使用 `.getOrElse()` 方法来获取 `Option` 对象中的值，如果没有值则使用默认值。例如： ```java Option<String> option = ...; // 你的 Option 对象 String value = option.getOrElse("default value"); ``` 这样，如果 `option` 中没有值，就会返回默认值 "default value"。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值