码灵的博客

目录6. Kafka配额限速机制（Quotas）6.1 限制producer端速率6.2 限制consumer端速率6.3 取消Kafka的Quota配置Kafka入门及进阶汇总6. Kafka配额限速机制（Quotas）生产者和消费者以极高的速度生产/消费大量数据或产生请求，从而占用broker上的全部资源，造成网络IO饱和。有了配额（Quotas）就可以避免这些问题。Kafka支持配额管理，从而可以对Producer和Consumer的produce&fetc...

目录5. Kafka中数据清理（Log Deletion）5.1 日志删除5.1.1 定时日志删除任务5.1.2 基于时间的保留策略5.1.3 基于日志大小的保留策略5.1.4 基于日志起始偏移量保留策略5.2 日志压缩（Log Compaction）Kafka入门及进阶汇总5. Kafka中数据清理（Log Deletion）Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日...

目录4. Kafka原理4.1 分区的leader与follower4.1.1 Leader和Follower4.1.2 查看某个partition的leader4.1.3 AR、ISR、OSR4.1.4 查看分区的ISR4.1.5 Leader选举4.1.6 leader负载均衡4.2 Kafka生产、消费数据工作流程4.2.1 Kafka数据写入流程4.2.2 Kafka数据消费流程4.3 Kafka的数据存储形式4.3.1 存储日志4....

目录3 监控工具Kafka-eagle介绍3.1 Kafka-Eagle简介3.2 安装Kafka-Eagle3.2.1 开启Kafka JMX端口3.2.2 安装Kafka-Eagle3.3 Kafka度量指标3.3.1 topic list3.3.2 生产者消息总计Kafka入门及进阶汇总3 监控工具Kafka-eagle介绍3.1 Kafka-Eagle简介在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工...

目录2. 高级（High Level）API与低级（Low Level）API2.1 高级API2.2低级API2.3 手动消费分区数据Kafka入门及进阶汇总2. 高级（High Level）API与低级（Low Level）API2.1 高级API/** * 消费者程序：从test主题中消费数据 */public class _2ConsumerTest { public static void main(String[] arg...

目录1. 分区和副本机制1.1 生产者分区写入策略1.1.1 轮询策略1.1.2 随机策略（不用）1.1.3 按key分配策略1.1.4 乱序问题1.1.5 自定义分区策略1.2 消费者组Rebalance机制1.2.1 Rebalance再均衡1.2.2 Rebalance的不良影响1.3 消费者分区分配策略1.3.1 Range范围分配策略1.3.2 RoundRobin轮询策略1.3.3 Stricky粘性分配策略1.4 副本机制1.

目录7. Kafka生产者幂等性与事务7.1 幂等性7.1.1 简介7.1.2 Kafka生产者幂等性7.1.3 配置幂等性7.1.4 幂等性原理7.2 Kafka事务7.2.1 简介7.2.2 事务操作API7.3 【理解】Kafka事务编程7.3.1 事务相关属性配置7.3.2 Kafka事务编程Kafka入门及进阶汇总7. Kafka生产者幂等性与事务7.1 幂等性7.1.1 简介拿http举例来说，一次或多次请求，得到地响应..

目录6. 架构6.1 Kafka重要概念6.1.2 zookeeper6.1.3 producer（生产者）6.1.4 consumer（消费者）6.1.5 consumer group（消费者组）6.1.6 分区（Partitions）6.1.7 副本（Replicas）6.1.8 主题（Topic）6.1.9 偏移量（offset）6.2 消费者组Kafka入门及进阶汇总6. 架构6.1 Kafka重要概念6.1.1 broker.

如果我们想获取生产者消息是否成功，或者成功生产消息到Kafka中后，执行一些其他动作。从 test topic中，将消息都消费，并将记录的offset、key、value打印出来。创建包cn.itcast.kafka，并创建KafkaProducerTest类。2.在发送消息成功时，打印Kafka的topic名字、分区id、offset。接下来，我们将编写Java程序，将1-100的数字消息写入到Kafka中。4 使用一个while循环，不断从Kafka的topic中拉取消息。2 创建Kafka消费者。

目录4. Kafka基准测试4.1 基准测试4.1.1 基于1个分区1个副本的基准测试4.1.2 基于3个分区1个副本的基准测试4.1.3 基于1个分区3个副本的基准测试Kafka入门及进阶汇总4. Kafka基准测试4.1 基准测试基准测试（benchmark testing）是一种测量和评估软件性能指标的活动。我们可以通过基准测试，了解到软件、硬件的性能水平。主要测试负载的执行时间、传输速度、吞吐量、资源占用率等。4.1.1 基于1个分区1个副本的基准测

目录3. 基础操作3.1 创建topic3.2 生产消息到Kafka3.3 从Kafka消费消息3.4 使用Kafka Tools操作Kafka3.4.1 连接Kafka集群3.4.2 创建topicKafka入门及进阶汇总3. 基础操作3.1 创建topic创建一个topic（主题）。Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。# 创建名为test的主题bin/kafka-to...

2. 环境搭建2.1 搭建Kafka集群1. 将Kafka的安装包上传到虚拟机，并解压cd /export/software/tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/cd /export/server/kafka_2.12-2.4.1/2. 修改 server.propertiescd /export/server/kafka_2.12-2.4.1/configvim server.properties# 指定broker的idbroke

1. 简介1.1 消息队列简介1.1.1 什么是消息队列消息队列，英文名：Message Queue，经常缩写为MQ。从字面上来理解，消息队列是一种用来存储消息的队列。我们可以简单理解消息队列就是将需要传输的数据存放在队列中。1.1.2 消息队列中间件消息队列中间件就是用来存储消息的软件（组件）。举个例子来理解，为了分析网站的用户行为，我们需要记录用户的访问日志。这些一条条的日志，可以看成是一条条的消息，我们可以将它们保存到消息队列中。将来有一些应用程序需要处理这些日志，就可以随时将

目录第1章 Kafka入门1. 简介 1.1 消息队列简介 1.2 Kafka简介 1.3 Kafka的优势 1.4 哪些公司在使用Kafka 1.5 Kafka生态圈介绍 1.6 Kafka版本2. 环境搭建 2.1 搭建Kafka集群 2.2 目录结构分析 2.3 ...