kafka
关注
分享
扫一扫
varyall
这个作者很懒，什么都没留下…
展开
-
Kafka HA Kafka一致性重要机制之ISR(kafka replica)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_37502106/article/details/80271800一、kafka replica当某个topic的replication-factor为N且N大于1时，每个Partition都会有N个副本(Replica)。kaf...转载 2019-11-04 20:27:27 · 394 阅读 · 0 评论 -
Kafka中的HW、LEO、LSO等分别代表什么？
HW、LEO等概念和上一篇文章所说的ISR有着紧密的关系，如果不了解 ISR 可以先看下ISR相关的介绍。HW（High Watermark）俗称高水位，它标识了一个特定的消息偏移量（offset），消费者只能拉取到这个offset之前的消息。下图表示一个日志文件，这个日志文件中只有9条消息，第一条消息的offset（LogStartOffset）为0，最有一条消息的offset...转载 2019-11-04 19:13:07 · 2147 阅读 · 0 评论 -
Kafka水位(HW)与leader epoch的讨论
Kafka水位(HW)与leader epoch的讨论转载声明：本文系转载自以下两篇文章：Kafka水位(high watermark)与leader epoch的讨论 作者： huxihx转载仅为方便学习查看，一切权利属于原作者，本人只是做了整理和排版，如果带来不便请联系我删除。摘要本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简...转载 2019-03-24 23:22:54 · 3127 阅读 · 0 评论 -
分布式消息队列RocketMQ&Kafka -- 消息的“顺序消费”-- 一个看似简单的复杂问题
在说到消息中间件的时候，我们通常都会谈到一个特性：消息的顺序消费问题。这个问题看起来很简单：Producer发送消息1, 2, 3。。。 Consumer按1, 2, 3。。。顺序消费。但实际情况却是：无论RocketMQ，还是Kafka，缺省都不保证消息的严格有序消费！这个特性看起来很简单，但为什么缺省他们都不保证呢？有兴趣朋友可以关注公众号“架构之道与术”， 获取最新文章和进一步讨...转载 2018-08-09 22:31:58 · 2108 阅读 · 0 评论 -
kafka顺序消息
原文链接：http://www.lpnote.com/2017/01/17/sequence-message-in-kafka/ 顺序消息包括以下两方面：全局顺序 局部顺序全局顺序全局顺序就目前的应用范围来讲，可以列举出来的也就限于binlog日志传输，如mysql binlog日志传输要求全局的顺序，不能有任何的乱序。这种的解决办法通常是最为保守的方式：全局使用一个生产者...转载 2018-08-09 19:33:53 · 1582 阅读 · 1 评论 -
Kafka源码深度解析－序列15 －Log文件结构与flush刷盘机制
Log文件结构在前面我们反复讲topic, partition的概念，本文来分析这些不同topic、不同partition的message，在文件中，是以何种结构存储的。有兴趣朋友可以关注公众号“架构之道与术”， 获取最新文章。 或扫描如下二维码： 每个topic_partition对应一个目录假设有一个topic叫my_topic，3个partition，分别为my_topic_0, my_to...转载 2018-05-17 00:02:23 · 709 阅读 · 0 评论 -
Java Jar打包(引用第三方包)
目录结构：[test@root kafka]$ lscom lib MANIFEST.MF首先创建文件mkdir kafkacd kafkakafka目录结构如下：kafka/kafka/lib/kafka/lib/kafka-clients-0.10.2.0.jarkafka/lib/slf4j-api-1.7.2.jarkafka/lib...原创 2018-03-22 13:18:02 · 2028 阅读 · 0 评论 -
Kafka学习
一 应用场景描述 我们处理日志是通过ELK来处理的，使用Redis来作为Broker.当业务高峰期来临的时候，Redis队列经常有堵塞的情况发生，经过网上查找资料，有公司使用Kafka来处理日志，据说效率还很高，所以决定先学习一下Kafka，然后再对比测试下Kafka和Redis作为Broker的效率。二 Kafka简介 按照Kafka官方的介绍Kafk转载 2018-01-20 00:32:19 · 556 阅读 · 0 评论 -
Kafka的分布式架构设计与High Availability机制
作者:Wang, Josh一、Kafka的基本概述 1、Kafka是什么？Kafka官网上对Kafka的定义叫：Adistributed publish-subscribe messaging system。publish-subscribe是发布和订阅的意思，所以准确的说Kafka是一个消息订阅和发布的系统。最初，Kafka实际上是LinkedIn用于日志转载 2017-12-18 11:48:22 · 464 阅读 · 0 评论 -
如何保证kafka 的消息机制
1.kafka 知识总结1、kafka是什么类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。kafka是一个生产-消费模型。Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。 数据的分发策略由producer决定，默认是defaultPartition Utils.abs(转载 2017-12-18 11:15:44 · 1509 阅读 · 0 评论 -
Kafka文件存储机制那些事
美团技术团队 原文 http://tech.meituan.com/kafka-fs-design-theory.htmlKafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以 当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡转载 2017-04-02 14:16:17 · 521 阅读 · 0 评论