![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
香槟910716
这个作者很懒,什么都没留下…
展开
-
kafka中broker replication-factor partitions的含义
现在让我们来看看主题(topic),分区(partition)和日志(log)的关系你可以把 topic 理解为文件夹,partition 为 topic 下面的子文件夹,log 在 partition 下,而消息保存在 log 中kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 2 --par...原创 2019-09-07 21:23:19 · 2647 阅读 · 0 评论 -
KafkaConsumer类解析
一个从kafka集群消费消息的客户端该客户端透明地处理Kafka代理的故障,并透明地适应其获取的主题分区在集群内迁移的情况。该客户端还与代理进行交互,以允许一组消费方使用消费方负载均衡消费。跨版本兼容性 : 该客户端可以与0.10.0或更高版本的代理进行通信。较早或较新的broker可能不支持某些功能。当调用正在运行的代理版本上不可用的API时,您将收到UnsupportedVersion...原创 2019-09-23 17:04:02 · 785 阅读 · 0 评论 -
KafkaConsumer方法解析
构造方法KafkaConsumer(java.util.Map<java.lang.String,java.lang.Object> configs) : 通过提供一组键值对作为配置来实例化使用者。KafkaConsumer(java.util.Map<java.lang.String,java.lang.Object> configs, Deserializer k...原创 2019-09-23 17:07:39 · 2174 阅读 · 0 评论 -
ConsumerRecord类详解
从kafka接收的键/值对。这还包括一个主题名称和一个从中接收记录的分区号,一个指向Kafka分区中的记录的偏移量以及一个由相应ProducerRecord标记的时间戳。构造方法ConsumerRecord(java.lang.String topic, int partition, long offset, K key, V value) 创建一条记录,以从指定的主题和分区接收(为与K...原创 2019-09-24 08:54:38 · 30161 阅读 · 0 评论 -
KafkaAdminClient类详解
Kafka的管理客户端,支持管理和检查主题,代理,配置和ACL。所需的最低代理版本为0.10.0.0。要求更严格的方法将指定所需的最低代理版本。我们将尝试以兼容的方式改进API,但如有必要,我们保留在次要版本中进行重大更改的权利。一旦认为API稳定,我们将更新InterfaceStability批注和此通知。主要方法public static AdminClient create(java....原创 2019-09-24 10:12:11 · 4863 阅读 · 0 评论 -
Kafka几个基本概念
kafka是一款基于发布与订阅的消息系统。它一般被称为“分布式提交日志”或者“分布式流平台”。文件系统或者数据库提交日志用来提供所有事物的持久化记录,通过重建这些日志可以重建系统的状态。同样地,kafka的数据是按照一定顺序持久化保存的,可以按需读取。kafka拓扑结构2、Kafka的特点2.1同时为分布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万条消息(50MB),每秒处...原创 2019-09-06 19:54:30 · 398 阅读 · 0 评论 -
kafka原理概念提炼
原文地址:https://www.cnblogs.com/jay763190097/p/10996851.htmlKafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系...原创 2019-09-08 09:39:08 · 102 阅读 · 0 评论 -
如何保证消息不被重复消费?(如何保证消息消费时的幂等性)
面试题原文链接:https://www.javazhiyin.com/22910.html如何保证消息不被重复消费?或者说,如何保证消息消费时的幂等性?面试官心理分析其实这是很常见的一个问题,这俩问题基本可以连起来问。既然是消费消息,那肯定要考虑会不会重复消费?能不能避免重复消费?或者重复消费了也别造成系统异常可以吗?这个是 MQ 领域的基本问题,其实本质上还是问你使用消息队列如...原创 2019-09-10 19:49:46 · 370 阅读 · 0 评论 -
开始读朱小厮的博客
朱小厮 深入理解kafka 核心设计与实践原理作者,RabbitMQ实战指南作者博客地址:https://blog.csdn.net/u013256816/article/category/6695565/1第一篇博文:直击Kafka的心脏——控制器 源地址重点:有一个broker会被选举为控制器(Kafka Controller),它负责管理整个集群中所有分区和副本的状态Kafka...原创 2019-09-12 21:27:02 · 412 阅读 · 0 评论 -
kafka删除节点
一般情况下,是不会删除数据的。到达一定时间后,kafka会自动删除。如果一定要删除可以删除topic在重建topic了 原文地址No. 1: 如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止。因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致会在broker更新。调用kafka delete命令则无法删除...原创 2019-09-26 13:21:22 · 1880 阅读 · 0 评论