kafka博文
-无妄-
本人主要记录的是学习笔记和其他参考,持续学习中。。。
展开
-
Kafka 2.0.0 正式发布,多项重要功能更新
Apache Kafka 2.0.0 在昨天正式发布了,其包含了许多重要的特性,这里我列举了一些比较重要的: 增加了前缀通配符访问控制(ACL)的支持,详见 KIP-290,这样我们可以更加细粒度的进行访问控制; 更全面的数据安全支持,KIP-255 里面添加了一个框架,我们可以使用OAuth2 bearer tokens 来对访问 Kafka Brokers 进行权限控制。 现在,SSL连接默...转载 2018-10-30 16:21:25 · 413 阅读 · 0 评论 -
Kafka基本原理
简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、分布式的、分区的和可复制的提交日志服务。 Kafka架构 它的架构包括以下组件: 话题(Topic):是特定类型的消息流。消息是字节的有效负载(Payload),话题是消息的分类名或种子(Feed)名。 生产者(Producer):是能够发...转载 2018-10-30 16:42:32 · 193 阅读 · 0 评论 -
Kafka分区分配策略(Partition Assignment Strategy)
文章目录问题Range strategyRoundRobin strategy 问题 用过 Kafka 的同学用过都知道,每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息,我们也可能会启动多个 Consumer 去消费,而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的数据。我们又知道,Kafka 存在 Consumer G...转载 2018-11-14 09:37:49 · 545 阅读 · 0 评论 -
Apache Kafka:优化部署的 10 种最佳实践
本文要点 Kafka 低开销和友好水平扩展的设计使它可以使用廉价的日用硬件仍能保持成功运行。 使用最好的磁盘、分别存储日志、隔离 ZooKeeper 进程,以及禁用交换以减少延迟,从而为 ZooKeeper 提供强大的网络带宽。 将 Kafka 的默认复制因子从两个增加到三个,这适用于大多数生产环境。 更多的分区意味着更好的并行化和吞吐量,但分区也意味着更多的复制延迟、平衡,以及打...转载 2018-12-24 10:52:48 · 182 阅读 · 0 评论 -
Kafka创建Topic时如何将分区放置到不同的Broker中
熟悉 Kafka 的同学肯定知道,每个主题有多个分区,每个分区会存在多个副本,本文今天要讨论的是这些副本是怎么样放置在 Kafka 集群的 Broker 中的。 大家可能在网上看过这方面的知识,网上对这方面的知识是千变一律,都是如下说明的: 为了更好的做负载均衡,Kafka尽量将所有的Partition均匀分配到整个集群上。Kafka分配Replica的算法如下: 将所有存活的N个Brokers...转载 2019-01-17 14:28:05 · 488 阅读 · 0 评论 -
Apache Kafka消息格式的演变(0.7.x~0.10.x)
对于一个成熟的消息中间件而言,消息格式不仅关系到功能维度的扩展,还牵涉到性能维度的优化。随着Kafka的迅猛发展,其消息格式也在不断的升级改进,从0.8.x版本开始到现在的1.1.x版本,Kafka的消息格式也经历了3个版本。本文这里主要来讲述Kafka的三个版本的消息格式的演变,文章偏长,建议先关注后鉴定。 Kafka根据topic(主题)对消息进行分类,发布到Kafka集群的每条消息都需要指定...转载 2019-01-22 09:54:33 · 300 阅读 · 0 评论