kafka
Java不难的
=
展开
-
Apache Kafka、Apache Pulsar和RabbitMQ性能测试对比
Apache Kafka、Apache Pulsar和RabbitMQ都可以用作消息中间件平台,可对比的项目非常多,但是通常最关心的就是性能。在本文中,将专注于系统的吞吐量和延迟,因为这些是生产中事件流系统的主要性能指标。吞吐量测试尤其可以衡量每个系统在利用硬件(特别是磁盘和CPU)方面的效率。延迟测试可衡量每个系统与实时消息传递之间的接近程度,其中包括高达p99.9%的尾部延迟,这是实时和关键业务系统以及微服务架构的核心要求。 从测试结果来看,Kafka提供了最佳的吞吐量,同时提供最低的端到端延迟,最高可原创 2020-08-28 10:51:58 · 2020 阅读 · 0 评论 -
Kafka/RocketMQ 多线程消费时如何保证消费顺序?
之前在讨论顺序消息的一些知识,看到有个读者的留言如下: 这个问题问得非常棒,由于在之前的文章中并没有提及到,因此我在这篇文章中单独讲解,本文将从消费顺序性这个问题出发,深度剖析 Kafka/RocketMQ 消费线程模型。 Kafka kafka 的消费类 KafkaConsumer 是非线程安全的,因此用户无法在多线程中共享一个 KafkaConsumer 实例,且 KafkaConsumer 本身并没有实现多线程消费逻辑,如需多线程消费,还需要用户自行实现,在这里我会讲到 Kafka 两种多线程消费模原创 2020-05-18 17:49:17 · 4097 阅读 · 1 评论 -
大流量大负载的Kafka集群优化实战
前言背景 算法优化改版有大需求要上线,在线特征dump数据逐步放量,最终达到现有Kafka集群5倍的流量,预计峰值达到万兆网卡80%左右(集群有几十个节点,网卡峰值流出流量800MB左右/sec、写入消息QPS为100w+ msgs/sec)。上下游服务需要做扩容评估,提前做好容量规划,保障服务持续稳定运行 L3层 dump特征 @xxx 1.依赖文章特征公共服务 2.依赖用户特征公共服务 前...原创 2020-04-16 15:24:36 · 702 阅读 · 0 评论