kafka
文章平均质量分 92
HD243608836
这个作者很懒,什么都没留下…
展开
-
关于Kafka HW(high watermark)是否可以“被消费到”的讨论
事实上,它们的主要作用是帮助leader Replica对象确定其HW值之用,而由于leader Replica的HW值就是整个分区的HW值,故这些other Replicas实际上是用来确定分区HW值的。如果Kafka只判断第一个条件的话,确定分区HW值时就不会考虑这些未在ISR中的副本,但这些副本已经具备了“立刻进入ISR”的资格,因此就可能出现分区HW值越过ISR中副本LEO的情况——这肯定是不允许的,因为超过ISR副本LEO的那些消息属于未提交消息。另外上篇文章中的配图也是错误的,如下所示。...转载 2022-08-17 18:49:35 · 409 阅读 · 0 评论 -
消息队列原理及选型
什么是消息队列消息队列(Message Queue)是一种进程间通信或同一进程的不同线程间的通信方式。什么时候需要消息队列 异步处理:例如短信通知、终端状态推送、App推送、用户注册等 有些业务不想也不需要立即处理消息。消息队列提供了异步处理机制,允许用户把一个消息放入队列,但并不立即处理它。想向队列中放入多少消息就放多少,然后在需要的时候再去处理它们。 数据同步:业务数...转载 2019-12-16 18:07:48 · 838 阅读 · 0 评论 -
Kafka的分区数和消费者个数(重点)——与customer group之间的关系
Kafka的分区数是不是越多越好?分区多的优点kafka使用分区将topic的消息打散到多个分区分布保存在不同的broker上,实现了producer和consumer消息处理的高吞吐量。Kafka的producer和consumer都可以多线程地并行操作,而每个线程处理的是一个分区的数据。因此分区实际上是调优Kafka并行度的最小单元。对于producer而言,它实际上是用多个线程并发地...转载 2019-10-22 01:01:11 · 3753 阅读 · 0 评论 -
Kafka 文件存储机制(详细过程,完美解决)
一,kafka简介 Kafka最初由Linkedin公司开发的分布式、分区的、多副本的、多订阅者的消息系统。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存是根据Topic进行归类,发送消息者称为Producer;消息接受者称为Consumer;此外kafka集群有多个kafka实例组成,每个实例(server)称为broker。...转载 2019-10-21 14:42:44 · 646 阅读 · 0 评论 -
kafka配置中的坑之: replica.fetch.max.bytes
首先我使用的版本是0.8.2最近在使用kafka的时候发现服务器的网卡经常吃满,使用iftop和dstat看网络流量,发现kafka broker之间有很大流量。如果topic设置了多个replica,那么经常会有replica因为不能同步成功而掉线,最终topic的可用isr只剩下一个。这个问题非常头疼,首先会导致机器网络io不正常,影响其他服务,其次会导致topic的备份失效。在l...转载 2019-10-21 12:13:18 · 4964 阅读 · 0 评论 -
SpringBoot+Kafka实现单条或批量消费kafkaListener(demo实战源码)
依赖# pom.xml<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>1.1.1.RELEASE</version>&...转载 2019-10-19 00:48:13 · 5008 阅读 · 2 评论 -
Kafka消费组(consumer group)(转)
一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时机成熟了,于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念,希望能把consumer这点事说清楚,从而对广大使用者有所帮助。在开始之前,我想花一点时间先来明确一些概念和术语,这会...转载 2019-10-19 00:12:04 · 291 阅读 · 0 评论 -
Kafka中partition,group的具体例子,非代码
最近项目中有用到Kafka,之前看网上博客大体上都还比较清楚。其中消费者group和生产者的partition的对应关系,在之前自己的项目中比较重要,就做了一下测试。在此记录一下。发送到Kafka的消息会根据key,发送到对应topic的partition中,有默认的分发规则(也可以自己重写分发规则),基本上就是相同的key发送到一个partition中,不同的key有可能发送到相同的part...转载 2019-05-17 13:36:10 · 551 阅读 · 0 评论 -
kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)
原文格式清晰:https://www.cnblogs.com/likehua/p/3999538.html问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么?一、...转载 2019-05-21 11:37:08 · 201 阅读 · 0 评论 -
消息队列Kafka、RocketMQ、RabbitMQ的优劣势比较
转载自:https://zhuanlan.zhihu.com/p/60288391~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~在高并发业务场景下,典型的阿里双11秒杀等业务,消息队列中间件在流量削峰、解耦上有不可替代的作用。Mike前面分享了MQ消息队列的设计、核心原理...转载 2019-05-10 18:06:56 · 785 阅读 · 0 评论 -
Copy On Write写时复制原理
kafka删除日志文件,使用的策略:Copy On Write写时复制日志文件的删除策略非常简单:启动一个后台线程定期扫描log file列表,把保存时间超过阀值的文件直接删除(根据文件的创建时间).为了避免删除文件时仍然有read操作(consumer消费),采取copy-on-write方式.~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~...转载 2019-05-20 17:49:03 · 947 阅读 · 0 评论 -
Kafka有多个broker的例子——重点是Replicas和lsr和Leader位置
1. 启动 ZooKeeper首先还是启动ZooKeeper。 set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0 cd %KAFKA_HOME%/bin/windows zookeeper-server-start.bat %KAFKA_HOME%/config/zookeeper.properties...转载 2019-05-07 13:49:08 · 3487 阅读 · 1 评论 -
Kafka 精萃——实用教程汇总大全
点击此处观看本系列配套视频。Kafka 简介Kafka 下载和安装Kafka 搭建测试环境Kafka 体系结构Kafka只有一个broker的例子Kafka 有多个broker的例子Kafka 发送消息Kafka 发送消息-- 整合 SpringKafka 发送消息 IdempotentKafka 发送消息 Idempotent -- Spr...转载 2019-05-07 11:20:44 · 211 阅读 · 0 评论 -
消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局
实际场景选择:(节选自:https://blog.csdn.net/myhes/article/details/83247108)在实际生产应用中,通常会使用kafka作为消息传输的数据管道,rabbitmq作为交易数据作为数据传输管道,主要的取舍因素则是是否存在丢数据的可能;rabbitmq在金融场景中经常使用,具有较高的严谨性,数据丢失的可能性更小,同事具备更高的实时性;而kafka优...转载 2019-03-26 10:42:34 · 301 阅读 · 0 评论 -
Kafka简介、基本原理、执行流程与使用场景
Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。几种分布式系统消息系统的对比:推荐相关文章:各消息队列对比,Ka...转载 2018-08-16 10:09:55 · 329 阅读 · 0 评论 -
Linux上搭建Kafka运行环境
Kafka是一个分布式的数据流平台,常用来作为消息传送中间件。本篇介绍Kafka的使用方法,以linux系统为例 (windows系统只需将下面的命令"bin/"都改为"bin\windows\",脚本扩展名“.sh”改为“.bat”),适合刚接触Kafka和zookeeper的新手。原文http://kafka.apache.org/documentation#quickstart 1...转载 2018-08-06 18:03:51 · 285 阅读 · 0 评论 -
Windows上搭建Kafka运行环境
Windows上搭建Kafka运行环境完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS 在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询:1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this time. Process exited解决方...转载 2018-08-06 17:59:03 · 362 阅读 · 0 评论