![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 87
margu_168
这个作者很懒,什么都没留下…
展开
-
【kafka】kafka常见的面试题总结及对应答案
什么是Kafka Connect的转换器(Connect transformers)?Kafka中的消费者位移(Offset)是什么?Kafka的副本机制是什么?Kafka的消息保留策略是什么?Kafka如何处理消费者的故障恢复和消息的重复消费问题?它有什么优势和劣势?Kafka的水平扩展能力如何实现?Kafka的消息是如何被分区的?Kafka的事务是如何实现的?Kafka的消息偏移量是什么?Kafka的可用性和数据持久性是如何实现的?Kafka的消费者组是什么?Kafka如何处理消费者的扩展和负载均衡?原创 2023-09-25 10:33:25 · 630 阅读 · 0 评论 -
【kafka】kafka使用场景
以下描述了一些 ApacheKafka ®的流行用例。有关这些领域的概述,请参阅 此博客中的文章。转载 2023-09-18 09:27:02 · 62 阅读 · 0 评论 -
【kafka】kafka命令大全
本文将分享一些kafka经常使用的一些命令,不断完善中。原创 2023-09-15 10:25:50 · 903 阅读 · 0 评论 -
【kafka】Kafka中的高水位和Leader Epoch
在Kafka中,高水位是一个位置信息标记,它是用消息位移来表征的,比如某个副本中HW=4,就是这个副本的高水位在offset=4那个位置上。高水位和 LEO(Log End Offset) 是副本对象的两个重要属性。Kafka 所有副本都有对应的高水位和 LEO 值,而不仅仅是 Leader 副本。只不过 Leader 副本比较特殊,Kafka 使用 Leader 副本的高水位来定义所在分区的高水位。换句话说,分区的高水位就是其 Leader 副本的高水位(主分区比较重要)。原创 2023-09-13 23:23:20 · 216 阅读 · 0 评论 -
【kafka】kafka重要的集群参数配置
对于实际应用的生产环境中,需要尽量先规划设计好集群,避免后期业务上线后费力调整。在考量部署方案时需要通盘考虑,不能仅从单个维度上进行评估,下面是几个重要的维度的考量和建议:这里重点说说操作系统的因素。一句话总结:在Linux部署Kafka能够享受到零拷贝技术带来的快速数据传输特性。原创 2023-09-12 21:10:25 · 597 阅读 · 0 评论 -
【kafka】kafka单节点/集群搭建
本章节将分享不同版本的kafka单节点模式和集群模式搭建。在kafka2.8版本之前,需要依赖zookeeper服务,而在kafka2.8版本(包括)之后,可以不在依赖zookeeper服务。本章节将分kafka2.8版本之前的版本和之后的版本分别搭建单节点模式和集群模式。原创 2023-09-11 10:20:37 · 976 阅读 · 0 评论 -
【kafka】kafka介绍
一台服务器可能同时是一个分区的leader,另一个分区的follower,因此集群的负载是相对平衡的。Kafka能够为一个消费者池提供顺序保证和负载平衡,是通过将topic中的partition分配给消费者组中的消费者来实现的, 以便每个分区由消费组中的一个消费者消耗。事实上,在每一个消费者中唯一保存的元数据是offset(偏移量)即消费在log中的位置.偏移量由消费者所控制:通常在读取记录后,消费者会以线性的方式增加偏移量,但是实际上,由于这个位置由消费者控制,所以消费者可以采用任何顺序来消费记录。原创 2023-09-06 10:28:19 · 487 阅读 · 0 评论