![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 87
bluedraam_pp
不是有希望才坚持,是坚持才有希望
展开
-
KafkaConsuner 指定开始消费的位置
需要在执行了 poll() 方法之后才行。我本来想指定一个开始位置,但是还没有指定位置呢?在我们探讨的功能中,index和timeindex两个文件扮演着关键角色,它们与消费者开始消费的位置密切相关。这是我们今天要讲解的核心基础,没有这两个文件,我们无法进行后续的操作。就用了,FlinkKafkaConsumer 不是从 checkpoint 消费,就能是手工指定的位置消费了。才能获取到偏移的位置,否返回一个 size() = 0 的 map。的方式,指定了消费者的消费位置,这样以来,原创 2023-06-06 22:46:26 · 2428 阅读 · 0 评论 -
Kafka 面试题目
第一题Kafka数据积压如何处理?首先来分析一下积压的原因。总体上来说,造成挤压的条件是生产者生产数据的速度大于了消费者的速度。一般使用 rps 来表示。生产者这一端,一般连接的是业务系统,我们可以给业务数据根据重要性来分级,如果在数量超大的情况下,我们可以将一些低重要级的数据分流到其他的 kafka 上面,优先保证重要数据的处理。我们能做的就把消费者的速度搞上去。在消费者这边,可以分成两段来分析,一个是 KafkaConsumer ,一个是 data processer 。造成前者消费速度较生产者慢的原创 2021-10-24 21:40:19 · 685 阅读 · 1 评论 -
Kafka 端到端数据完整性
完整性如何保证数据的端到端的数据完整性?这里说的完整性,就是说“不丢数据”,这里是不丢数据的意思。这里没有保准数据的一致性。也就是说,sink 端收到的数据可能是重复的。如果要保证完整性,需要再 producer 端、broker 端、consumer 端,这三个地方下功夫。producer 端producer 端可以有两种发送方式,一个是只负责发送,至于 broker 收到没有收到那就不管了。另外一种类似 TCP 协议,每一个 TCP 包都会有一个 ACK 回复,收到 ACK 才确定这条数据发送原创 2021-08-23 22:12:43 · 560 阅读 · 0 评论