- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kafka 重复消费消息
Kafka为什么会发生消息的重复消费？首先Kafka的消费机制是 拉取数据后处理，处理完后提交，这默认是一条数据的正常消费，既然发生了重复消费，那么就说明Kafka肯定没有提交，没有提交的原因主要如下：1、Kafka是从broker上批量拉取数据，默认是每次拉取500条（max.poll.records=500），如果消费到一半，额外因素有人强制杀掉了进程，则当下次消费者重新生还的时候它还是从上次的500条开始消费；2、单条消息体过大，处理时间过长，默认是五分钟,如果超过这个时间，partiti
2021-03-05 17:11:24
1549
原创 Kafka 数据丢失与优化
目录Kafka数据丢失与解决方案Kafka在什么情况下会丢失数据？broker发生丢失数据分为下面几类consumer发生丢失数据分为下面几类Kafka性能调优producer需注意broker需注意consumer需注意Kafka中常见的server配置文件可参考：Kafka数据丢失与解决方案Kafka在什么情况下会丢失数据？首先Kafka是三层模型，即producer、broker、consumer三层，在一般业务场景下，丢失数据主要发生在broke.
2021-03-04 20:45:40
323
1
原创 java中的split语句注意事项
java中split使用方法中主要有两种：1、split(String regex);这种方式下直接根据你给定的regex进行切分，例如下面例子（注意每一个所打印的length和切分后的内容）：1、使用split(string regex)方法分割后会将后面的空字符去除，但是split(String regex,int limit)却不会，见下文；2、注意这里是形参是正则表达式，并不是字符串，第二种就随便分割了，经常会用到：2、split(String regex,int lim
2020-06-28 22:41:45
303
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人