清晨qc的博客

大家好，笔者之前在一文中简单的介绍了一下什么是minio。

minio 是一个基于 Apache License v2.0 开源协议的对象存储服务。非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小。是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。如果不考虑文件存储上云，minio 是一个非常不错的选择，并且支持分布式部署。

所以在 Redis 后续的进化中，将两种持久化结合到了一起，在 AOF 重写日志时，fork 出来的重写子进程会先将与主线程共享的内存数据以 RDB 方式写入到 AOF 文件，然后主线程处理的操作命令会被记录在重写缓冲区里，重写缓冲区里的增量命令会以 AOF 方式写入到 AOF 文件，写入完成后通知主进程将新的含有 RDB 格式和 AOF 格式的 AOF 文件替换旧的的 AOF 文件。

我们常说的 Redis 数据类型是指的 Redis 键值对中的值的类型，常见的 Redis 数据类型有：String、list、哈希表、set、zset；但是随着 Redis 版本的不断更新发展，又出现了一些新的数据类型，比如：BitMap、HyperLogLog、GEO、Stream等，这些数据类型在 Redis 官网中也有介绍。

大家好，我是三叔，很高兴这期又和大家见面了，一个奋斗在互联网的打工人。

消费者监听接口的主题不存在时，默认会报错，所以需要设置false，解决报错。添加上述配置后，在代码中捕获异常去处理即可。

笔者在一文中处理offset重复提交的问题后，在执行了一段时间后发现又出现了重复消费的问题，于是检查了生产日志，发现没有了CommitFailedException问题，于是根据重复消费的id具体查看，发现了一个异常，同步锁解锁异常，这个异常的抛出是因为当前线程释放了一个它并没有持有的锁，这种操作是非法的。此次重复消费的问题大概就找出原因了，代码中出现了异常后往外抛出去了，kafka在消费的时候，认为消息没有正常消费，于是就让消费者再次消费，但是消费还是失败，就这样一直循环下去，导致消息消费越来越慢。

Kafka Rebalance是一个重要的机制，它确保了每个消费者接收相等数量的分区，从而实现了负载均衡和高可用性。在Rebalance期间，消费者需要重新分配分区，并重新连接和重新消费先前未消费的消息。为了更好地了解Rebalance机制的工作原理，我们可以使用ConsumerRebalanceListener接口来处理Rebalance事件，并在Rebalance期间打印出日志消息。

超时：如果消费者在规定的时间内没有提交offset，就会抛出CommitFailedException异常。这通常是因为消费者处理消息的时间太长，或者消费者提交offset的频率太低，消费者在规定的时间内没有发送心跳信号，则该消费者将被视为死亡并从消费者组中移除，导致提交offset超时。重复提交：如果消费者在短时间内多次提交相同的offset，就会抛出CommitFailedException异常。这可能是由于消费者代码中的错误或线程同步问题导致的。

深入理解kafka为何之快