【kafka】kafka NoSuchElementException ArrayDeque getLast 压缩方式不同

已于 2023-12-21 16:29:46 修改
阅读量1.5k 收藏
点赞数
分类专栏： 大数据-kafka 文章标签： kafka java 分布式
于 2021-12-02 22:12:34 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/121249056
版权
大数据-kafka 专栏收录该内容
403 篇文章 639 订阅 ¥99.90 ¥299.90
订阅专栏
在Flink消费Kafka任务中遇到偶发的NoSuchElementException，问题定位到Kafka内部代码可能存在并发调用导致。解决方法是确保生产者、服务器和消费者的压缩方式一致，例如统一为gzip，从而避免类似异常。另外，调整消费端的压缩格式也可解决问题。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.场景1

1.1 概述

我一个flink消费kakfa的任务，然后这套程序很久了，但是最近2次偶现这个问题，而且不用操作，过一天就好了，奇怪。错误信息如下

在这里插入图片描述
根据报错找到相应的位置。然后看源码，自己单测试的时候

/**
     * java.util.NoSuchElementException
     */
    @Test
    public void getLast
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【kafka】Kafka消息压缩与解压与相关实验
九师兄
11-09 553
1.概述 本文一部分参考了文章：Kafka消息压缩与解压 本文做这个实验的主要功能是验证到底是不是压缩导致的这个问题 【Kafka】Kafka Record for partition topic at offset xx is invalid, cause: Record corrupt 2.Kafka消息压缩与解压 压缩具体来说就是用 CPU 时间去换磁盘空间或网络 I/O 传输量，希望以较多的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输。在 Kafka 中，压缩也是用来做这件事的。 2.
Kafka : 报错 KafkaController NoSuchElementException : : key not found : [xxx]
九师兄
07-04 1182
1.美图 2.背景 运行中的kafka 报错如下 目前还没找到原因 参考：KafkaKAFKA-415
java.util.NoSuchElementException在while循环中报错，二叉树的层序遍历
qq_21920075的博客
12-24 335
java.util.NoSuchElementException在while循环中报错 今天在做一道二叉树的层序遍历的题目时遇到了这个错误，在网上查了下，别人遇到这个报错的时候大部分是在使用iterator迭代器的时候，所以我猜大概是我的循环判断条件有误导致了这个错误。 以下是我的循环部分的出错代码： while(root!=null) { ...
Java总结 - ArrayDeque
测试0901-1
02-01 4376
这次来说一下ArrayDeque,我们先看一下他的类关系图,其中忽略掉了一些标记性接口 我们看一下类的定义 public class ArrayDeque<E> extends AbstractCollection<E> implements Deque<E>...
JAVA异常记录之NoSuchElementException
weixin_44143990的博客
04-10 1万+
java.util.NoSuchElementException 今天在实验过程中编译器抛出了java.util.NoSuchElementException，查阅资料后解决了这个问题，在这里记录下来。首先给出类似于下面的代码： public class test { public static void main(String[] args) { int number_int =...
Java NoSuchElementException: No value present 问题解决
最新发布
m0_47649585的博客
11-27 4525
stream get() findfirst方法报错
Scala学习笔记-方便查找使用 为Spark学习打基础
楠楠好难
02-05 4321
Scala学习伊始为什么是Scala网课环境电脑环境安装IDEA插件安装IDEA关联Scala源码基础部分文档注释和生成字符串的三种输出变量和常量数据类型数据类型体系图小结具体数据类型 伊始 为什么是Scala 毕业设计所逼，我课题是《基于spark的实时音乐推荐系统》，而Spark是用Scala开发的，使用Scala必然最合适。虽然Spark提供了Java、Python等的API，但貌似效果不如Scala。 网课 自己找了个网课，开干
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
[Spark版本升级]-- spark-2.2.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
07-18 6580
Spark-2.2.0版本发行时间：2017-7-11   一、Jira说明： https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&amp;version=12338275   子任务 [ SPARK-1267 ] - 添加PySpark的pip安装程序 [ SPARK-3249 ] - ...
一个关于java.util.NoSuchElementException异常的排查过程
10-27 518
java.util.NoSuchElementException、persistence.xml
ArrayDeque（java的循环数组）
yyoc97的专栏
03-23 1052
前言 最近在研读Kafka源码，发现它大量使用了ArrayDeque数据集合。这个集合类是java.util里提供的双端队列/栈，非线程安全，但是性能很好，非常值得研究一下。 // RecordAccumulator private final ConcurrentMap<TopicPartition, Deque<ProducerBatch>> batches; /...
java.util.NoSuchElementException: No value present 错误原因
第十六年春
08-06 5142
今天进行postman测试时，发现 java.util.NoSuchElementException: No value present 定位错误原因所在代码是，productInfo.findone（）方法中，使用了Optional类，调用了get()方法，Optional类是JDK8中新添加的类，用来简化判空操作，如果使用对象为空，调用get()会产生以上错误。检查所传参数，是否为空。 ...
NoSuchElementException: next on empty iterator
hello_java_lcl的博客
04-07 1754
首先保存位置应该有try catch 抓取代码，否则错误原因不容易找出来，谨记！ 迭代中不能有多个next 这样写导致数据跳跃性丢失和最后一项数据获取时报错。 修改： 错误原因找到的来源： https://blog.csdn.net/a503921892/article/details/23061341 ...
java.util.NoSuchElementException解决办法
weixin_33795833的博客
10-20 5479
最近在做一个项目，项目运行时,总是提示:java.util.NoSuchElementException.错误没有具体到code的行号,所以不容易debug.今天总算找到了root cause,so share it: 报错信息： Exception in thread "main" java.util.NoSuchElementException at...
ArrayDeque类的使用详解
热门推荐
skh2015java的博客
07-08 2万+
ArrayDeque不是线程安全的。  ArrayDeque不可以存取null元素，因为系统根据某个位置是否为null来判断元素的存在。  当作为栈使用时，性能比Stack好；当作为队列使用时，性能比LinkedList好。  一、常用方法      1.添加元素 addFirst(E e)在数组前面添加元素 addLast(E e)在数组后
深入理解循环队列----循环数组实现ArrayDeque
Walker_YAM
06-09 5760
我们知道队列这种数据结构的物理实现方式主要还是两种，一种是链队列（自定义节点类），另一种则是使用数组实现，两者各有优势。此处我们将要介绍的循环队列其实是队列的一种具体实现，由于一般的数组实现的队列结构在频繁出队的情况下，会产生假溢出现象，导致数组使用效率降低，所以引入循环队列这种结构。本文将从以下两个大角度介绍循环队列这种数据结构： 循环数组实现循环队列 Java中具体实现容器类ArrayDeque
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值