kafka
文章平均质量分 77
勇敢的菜鸡
一只菜鸡的隐秘角落
展开
-
kafka专题笔记 - 客户端
再均衡原理再均衡rebalance是在kafka使用中需要特别注意的一个知识点。新版kafka使用消费者协调器和组协调器对再均衡行为进行管理消费者协调器和组协调器kafka消费者客户端将全部消费组分成多个子集,每个消费组的子集在服务端对应一个GroupCoordinator对其进行管理,组协调器是kafka服务端组件;而消费者协调器ConsumerCoordinator则位于客户端的各个消费者中ConsumerCoordinator和GroupCoordinator之间最重要的职责就是负责执行消费者原创 2021-11-06 14:36:46 · 955 阅读 · 0 评论 -
kafka专题笔记 - 服务端
kafka协议在服务端的介绍中,首先了解下kafka协议。掌握协议不会对日常使用有太大的帮助,但是做到心中有数可以帮助我更好的理解kafka整体的运行策略。kafka中包含众多协议类型,每种类型的协议都包含请求协议Request和响应协议Response,且所有的请求协议都包相同的协议请求头RequestHeader和不同结果的协议请求体RequestBody,同理,响应协议亦是如此。下面以消息发送协议对和消息拉取协议对为例,说明kafka协议的具体实现消息发送ProducerRequest所有请原创 2021-11-05 00:35:04 · 1052 阅读 · 0 评论 -
kafka专题笔记 - 日志存储
文件目录布局下面以本地kafka日志文件夹为例,介绍kafka文件目录布局。kafka文件的存储目录,可以通过配置服务log.dirs确定,我本地环境使用默认的地址,log.dirs=/usr/local/var/lib/kafka-logs,进入文件夹,可以看到目前的文件内容如下:➜ kafka-logs ls__consumer_offsets-0 __consumer_offsets-22 __consumer_offsets-36原创 2021-10-24 23:59:42 · 2922 阅读 · 0 评论 -
kafka专题笔记 - 消费者
消费者和消费组消费者:消费kafka消息的实体,可以是一个进程,也可以是一个线程消费组:消费组是一个逻辑概念,每个消费者都隶属于一个消费组;一个消费组消费一个topic的所有消息;不同的消费组之间消费消息互补影响一个topic存在多个分区,每个分区只能被一个消费组中的某一个消费者消费消费者数量和topic分区数量的关系如下图,存在三种情况:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-119ergpM-1634991237700)(/Users/liushi/原创 2021-10-23 20:14:27 · 257 阅读 · 0 评论 -
kafka专题笔记 - 生产者
Producer实例构建下面的代码示例,使用sarama包创建一个producer实例import ( "fmt" "github.com/Shopify/sarama")var ( brokerList = "localhost:9092" topic = "localTestTopic" config = initConfig() producer = initProducer())// @title: initConfig// @descriptio原创 2021-10-21 13:39:06 · 636 阅读 · 1 评论 -
kafka专题笔记 - 环境配置与基础概念
安装与配置简单说下在MacOs上安装kafka的过程;后续部署环境可参考.第一步:更新brewbrew update注意:不升级可能出现 Failed to open ...13de4582463--openjdk-16.0.2.big_sur.bottle.tar.gz'的错误第二步:安装zookeeper和kafkabrew install kafkabrew install zookeeper第三步: 修改server配置文件 /usr/local/etc/kafk原创 2021-10-13 22:30:46 · 199 阅读 · 0 评论