【Flink】Insufficient number of network buffers required but only available

已于 2023-12-24 20:27:30 修改
阅读量2.3k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink NetworkBuffer 网络内存
于 2022-02-23 20:56:24 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/123096444
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文分析了Flink在运行时出现`Insufficient number of network buffers`异常的原因，该异常通常表示TaskManager的网络内存配置不足。通过源码解析，详细探讨了网络内存大小的计算过程，包括`totalNumberOfMemorySegments`的计算、`pageSize`的获取和网络内存页的数量计算。同时，文章提供了测试案例，展示了配置不一致时的错误情况，强调在本地执行Flink作业时，需确保网络内存的最小值和最大值相同，以避免此类异常。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

如果报 IOException: Insufficient number of network buffers 异常，这仅与TaskManager 相关。通常表示配置的网络内存大小不够大。您可以尝试增加网络内存。

此处可以参考：【Flink】Flink TaskManager 内存如何，如何计算

一个flink任务，我现在有2000并行度，然后报错如下， 这个参数要调多少

在这里插入图片描述
taskmanager.memory.segment-size 调大这个 默认32K,调整到64K
或者调整 taskmanager.memory.jvm-overhead.{min,max,fraction}增大max或者调高阈值,具体得看当前分配了多少，是否到了max。

我的调整如下

<
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Flink报错：java.io.IOException: Insufficient number of network buffers
九师兄
12-03 3227
1.美图 2.概述 Flink的master与worker进程有不同的内存需求。Master进程主要管理计算资源（也就是ResourceManager）以及协调applications的执行（也就是JobManager）。而worker进程的需要进行各类计算并处理数据（可能是大量数据）。 一般来说，master进程的内存需求并不是特别大。默认情况下，它使用1GB的JVM堆内存。如果一个master...
Insufficient number of network buffers
u011624157的专栏
08-06 1143
Insufficient number of network buffers报错日志&截图问题原因解决方案方案一：通过任务拓扑计算所需network buffer大小：方案二：根据经验直接调整flink-conf.yaml文件中的taskmanager.memory.network.fraction参数 报错日志&截图 问题原因 task在申请MemorySegment时获取不到所需的数量，抛出IOException，detail message为Insufficient number o
Flink中的Network Buffer
weixin_41608066的博客
08-04 2269
前言 看到一篇对flink Network Buffer 讲的比较好的文章，尤其当你碰到insufficient number of network buffers错误而程序起不来的时候，是不是一头雾水，这篇文章讲解了Network Buffer的内存是如何分配的已经你的程序实际需要的Network Buffer内存怎么计算。对理解Network Buffer相关知识有很大帮助，故搬运过来。 原文链接：http://www.liaojiayi.com/flink-network-buffer/#more 问
flink异常处理：Insufficient number of network buffers: required 33, but only 2 available
m0_37895851的博客
07-05 1690
Insufficient number of network buffers: required 33, but only 2 available. The total number of network buffers is currently set to 2048 of 32768 bytes each
flink taskmanager报 Insufficient number of network buffers: required 2
wppwpp1的专栏
04-10 5032
错误代码如下： java.io.IOException: Insufficient number of network buffers: required 2, but only 1 available. The total number of network buffers is currently set to 32768 of 32768 bytes each. You can increase this number by setting the configuration keys 't
flink实战--开发中常见的错误与问题
热门推荐
阿华田的博客
12-19 2万+
常见错误集 1.Checkpoint失败：Checkpoint expired before completing env.enableCheckpointing(1000L) val checkpointConf = env.getCheckpointConfig checkpointConf.setMinPauseBetweenCheckp...
Flink内存管理与调优
qq_35901141的博客
04-10 3341
配置flink进程的内存 配置总内存 Flink JVM 进程的*进程总内存（Total Process Memory）*包含了由 Flink 应用使用的内存（Flink 总内存）以及由运行 Flink 的 JVM 使用的内存。 Flink 总内存（Total Flink Memory）包括 JVM 堆内存（Heap Memory）和堆外内存（Off-Heap Memory）。 其中堆外内存包括直接内存（Direct Memory）和本地内存（Native Memory）。 [外链图片转存失败,源站可能有防
Flink参数调优设置
Baron_ND的博客
08-04 4661
IllegalConfigurationException 如果遇到从TaskExecutorProcessUtils抛出的IllegalConfigurationException异常，这通常说明您的配置参数中存在无效值（例如内存大小为负数、占比大于 1 等）或者配置冲突。 请根据异常信息，确认内存模型详解中与出错的内存部分对应章节的内容。 OutOfMemoryError: Java heap space 该异常说明 JVM 的堆空间过小。 可以通过增大总内存或任务堆内存的方法来增大 ...
[Flink]一、Flink1.13
最新发布
weixin_44428807的博客
07-01 928
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。
flink 作业常见报错1
weixin_43979134的博客
08-30 1961
flink 开发作业常见错误
聊聊flink TaskManager的memory大小设置
weixin_34072458的博客
02-19 184
序 本文主要研究一下flink TaskManager的memory大小设置 flink-conf.yaml flink-release-1.7.2/flink-dist/src/main/resources/flink-conf.yaml # The heap size for the TaskManager JVM taskmana...
Flink新特性之网络缓存消胀（Network Buffer Debloating）机制
LittleMagic's Blog
02-07 3790
前言 最近正在准备关于Flink 1.13 / 1.14版本新特性的内部分享，顺便做点记录。 又见网络缓存 很久没有聊过Flink的网络栈了，但相信大家对网络缓存(Network Buffer)这个概念不会陌生。它是Flink网络层数据交换的最小单元，承载序列化后的数据，以直接内存的形式分配，并且一个Buffer的大小就等于一个MemorySegment的大小，即taskmanager.memor...
Flink - NetworkEnvironment
weixin_33869377的博客
12-09 108
NetworkEnvironment 是一个TaskManager对应一个，而不是一个task对应一个 其中最关键的是networkBufferPool， operator产生的中间结果，ResultPartition，或是input数据，InputGate 都是需要memory来暂存的，这就需要networkBufferPool来管理这部分内存 /** * Netwo...
【性能调优1】（***重点***）Flink常见内存问题及调优指南（一）
hiliang521的博客
07-29 1521
通过了解Flink性能调优的方面，积累Flink调优的常见思路，以及收集Flink常见问题的处理。
flink 常用异常错误解析
wppwpp1的专栏
02-09 1680
IllegalConfigurationException 如果您看到从TaskExecutorProcessUtils或JobManagerProcessUtils抛出IllegalConfigurationException，则通常表明存在无效的配置值（例如，负的内存大小，大于1的分数等）或配置冲突。检查与异常消息中提到的内存组件相关的文档章节或配置选项。 OutOfMemoryError：Java堆空间 异常通常表明JVM堆太小。您可以尝试通过增加总内存来增加JVM堆大小。您也可以直接增..
聊聊flink的NetworkBufferPool
weixin_33671935的博客
02-25 686
序 本文主要研究一下flink的NetworkBufferPool BufferPoolFactory flink-release-1.7.2/flink-runtime/src/main/java/org/apache/flink/runtime/io/network/buffer/BufferPoolFactory.java public interface BufferPoolFactory...
Flink 1.7 本地模式安装配置(local)
vkingnew 的技术博客
12-25 6626
centos7.5 安装jdk: # rpm -ivh jdk-8u172-linux-x64.rpm # java -version java version "1.8.0_172" Java(TM) SE Runtime Environment (build 1.8.0_172-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.172-b11...
Flink的性能优化
chbxw
06-10 3652
[返回总目录](https://blog.csdn.net/wuxintdrh/article/details/106452793)
flinksql row_number
07-09
Flink SQL中的ROW_NUMBER函数用于为结果集中的每一行分配一个唯一的行号。它通常与ORDER BY子句一起使用，以指定排序的列。 以下是使用ROW_NUMBER函数的示例： ```sql SELECT ROW_NUMBER() OVER (ORDER BY ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值