Kafka
文章平均质量分 94
慕城南风
这个作者很懒,什么都没留下…
展开
-
使用Python读写kafka
目录1. Kafka安装与使用1.1下载1.2安装1.3配置1.4运行1.4.1 启动zookeeper1.4.2 启动kafka1.5第一个消息1.5.1 创建一个topic1.5.2. 创建一个消息消费者2. kafka清理数据和topic3. python操作kafka4. Python创建自定义的Kafka Topic4.1 BROKER 的全局配置4.2CONSUMER 配置4.3 PRODUCER 的配置1. K...原创 2022-02-23 11:17:55 · 10405 阅读 · 1 评论 -
容易被误会的 Kafka 消费者属性 enable.auto.commit
前言理解一下Kafka的读的自动提交功能。找到了一篇专门介绍这个功能的文章,选择主要的内容进行一下翻译和做笔记。自动提交参数auto.commit的设置Understanding the ‘enable.auto.commit’ Kafka ConsumerpropertyKafka Consumers read messages from a Kafka topic, its not a hard concept to get your head around. But beh.原创 2022-02-22 20:50:19 · 6925 阅读 · 5 评论 -
彻底理解kafka中partition和消费者对应关系
1个partition只能被同组的一个consumer消费,同组的consumer则起到均衡效果消费者多于partitiontopic: test 只有一个partition创建一个topic——test,bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test在g2组中启动两个consumer,1. bin/kafka-co原创 2022-02-22 20:21:52 · 1720 阅读 · 0 评论 -
Apache Kafka - How to Load Test with JMeter
In this article, we are going to look at how to load test Apache Kafka, a distributed streaming platform, by usingApache JMeter™. First of all, let us study what Kafka is and give a few definitions we will need for further work.A Brief Overview of Apa.转载 2021-12-22 20:26:58 · 172 阅读 · 0 评论 -
Jmeter之创建Kafka生产者和消费者进行性能测试
最近消息队列要换成Kafka,作为一个测试人员,应工作要求,需要对Kafka进行性能测试,那么开干吧,了解它,测试它。在这里把自己学习和使用的一些经验记录在本文中,研究如何去使用Apache JMeter测试Kafka。首先,先来了解一下什么是Kafka。1. A Brief Overview of Apache Kafka在一个大型的分布式系统中,通常有很多服务生成不同的事件:日志、监视数据、可疑用户操作等等。在Kafka中,这些被称为生产者Producer。另一方面,有些服务需要生成的数据,这原创 2021-12-22 20:22:16 · 2667 阅读 · 0 评论 -
kafka消息存储与partition副本原理(二)
消息的存储原理: 消息的文件存储机制: 前面我们知道了一个 topic 的多个 partition 在物理磁盘上的保存路径,那么我们再来分析日志的存储方式。通过 ll /tmp/kafka-logs/testTopic-0/ 命令找到对应 partition 下的日志内容: kafka 是通过分段的方式将 Log 分为多个 LogSegment,LogSegment 是一个逻辑上的概念,一个 LogSegment 对应磁盘上的一个日志文件和一个索引文件,其中日志文件是用来记录消息的。索转载 2021-07-06 20:30:34 · 740 阅读 · 0 评论 -
kafka消息的分发与消费(一)
关于 Topic 和 Partition: Topic:在 kafka 中,topic 是一个存储消息的逻辑概念,可以认为是一个消息集合。每条消息发送到 kafka 集群的消息都有一个类别。物理上来说,不同的 topic 的消息是分开存储的,每个 topic 可以有多个生产者向它发送消息,也可以有多个消费者去消费其中的消息。 Partition: 每个 topic 可以划分多个分区(每个 Topic 至少有一个分区),同一 topic 下的不同分区包含的消息是不同的。每个消息在被添转载 2021-07-06 20:29:00 · 870 阅读 · 0 评论