中间件-Kafka
文章平均质量分 93
Kafka原理及实践
Shi Peng
这个作者很懒,什么都没留下…
展开
-
快手Kafka集群演进之路学习笔记
https://www.infoq.cn/article/Q0o*QzLQiay31MWiOBJH/一、背景2019年快手Kafka集群日消息处理量为数万亿级别,峰值超过1亿/s。在快手,Kafka集群被分成3类:在线集群:作为消息中间件,为不同在线业务之间提供异步的消息通知服务Log集群:业务集群直接将log打给Kafka,并通过Kafka进行传输和收集,由于数据在业务应用层不落地,所以这个过程不能出现由于Kafka问题导致业务受到影响,这对Kafka可用性要求很高;Log集群还为重要的实时计原创 2020-09-27 21:56:13 · 580 阅读 · 1 评论 -
kafka集群选择多少topic和partition最合适
1. partition越多吞吐量越大首先我们需要明白以下事实:在kafka中,单个patition是kafka并行操作的最小单元。在producer和broker端,向每一个分区写入数据是可以完全并行化的,此时,可以通过加大硬件资源的利用率来提升系统的吞吐量,例如对数据进行压缩。在consumer段,kafka只允许单个partition的数据被一个consumer线程消费。因此,在consu...原创 2019-03-10 00:26:45 · 25589 阅读 · 0 评论 -
Kafka副本同步机制
一、Kafka副本同步机制Kafka中topic的每个partition有一个预写式日志文件,每个partition都由一系列有序的、不可变的消息组成,这些消息被连续的追加到partition中,partition中的每个消息都有一个连续的序列号叫做offset,确定他在partition中的唯一位置。kafka每个topic的partition有N个副本,其中N是topic的复制因子,Kafka通过多副本机制实现故障自动转移,当Kafka集群中一个Broker失效情况下,仍可保证服务可用。在Kafk原创 2020-09-29 15:34:01 · 4163 阅读 · 2 评论 -
Apache Pulsar MQ 学习笔记
一、Pulsar简介Apache Pulsar是一个企业级分布式消息系统,最初由雅虎在2016年开源。Pulsar的关键特性:1)Pulsar的单个实例原生支持多个集群,可跨机房再集群间无缝地完成消息复制2)极低的发布延迟和端到端延迟3)可无缝扩展到超过100万个topic4)客户端简单,支持java, go, python, c++5)支持多种topic订阅模式(独占订阅、共享订阅、故障转移订阅)6)通过Apache BookKeeper提供的持久化消息存储机制,保证消息船体。由轻量级原创 2021-05-31 19:08:56 · 1968 阅读 · 3 评论 -
kafka使用与设计原理
1. kafka简介kafka是apache开源的基于zookeeper协调的分布式消息系统,具有高吞吐率(可做到单机每秒几十万qps,基于磁盘进行存储,做到时间复杂度O(1) )、高性能、实时、高可靠等特点,可实时处理流式数据。最早由Linkedin公司用scala语言开发。kafka是消息中间件的一种,消息中间件还有active mq, rocket mq等。消息中间件的作用:当clie...原创 2018-11-19 22:37:33 · 1800 阅读 · 0 评论