![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 89
阿德小仔
你得先看中你自己,否则别人就认为你一钱不值。
展开
-
分布式日志采集(elk+kafka)
分布式系统的日志,每个服务器节点web服务都会产生各自的日志文件,如果想要整合或者排查日志,就需要到每个节点下逐一查看日志文件这样会比较麻烦。所以需要一个方案将日志采集放到一个位置进行存储和查询。这里就可以使用elk+kafka的方式解决。转载 2023-03-24 23:15:22 · 2145 阅读 · 2 评论 -
如何更好地使用Kafka
要确保Kafka在使用过程中的稳定性,需要从kafka在业务中的使用周期进行依次保障。主要可以分为:事先预防(通过规范的使用、开发,预防问题产生)、运行时监控(保障集群稳定,出问题能及时发现)、故障时解决(有完整的应急预案)这三阶段。事先预防即通过规范的使用、开发,预防问题产生。主要包含集群/生产端/消费端的一些最佳实践、上线前测试以及一些针对紧急情况(如消息积压等)的临时开关功能。Kafka调优原则:1.确定优化目标,并且定量给出目标(Kafka 常见的优化目标是吞吐量、延时、持久性和可用性)。转载 2022-12-01 17:31:05 · 321 阅读 · 0 评论 -
RocketMQ与kafka的区别
kafka和RocketMQ的总体区别是,kafka设计初衷是用于日志传输,而RocketMQ的设计用于解决各类应用可靠的消息传输,阿里云官网承诺RocketMQ数据可靠性为10个9,服务可靠性为99.95%。kafka相比RocketMQ的优势1、单机吞吐量TPS可上百万,远高于RocketMQ的TPS7万每秒,适用于日志类消息。2、kafka支持多语言的客户端RocketMQ相比kafka的优势**1、保证消息不丢( 数据可靠性达10个9)2、可严格保证消息有序。转载 2022-11-10 17:13:06 · 2883 阅读 · 0 评论 -
kafka的rebalance机制
Reblance就像他的名称一样,意思是再平衡,平衡什么?平衡和之间的对应关系。本质上来讲,Reblance是一种协议,规定了一个Consumer Group下所有Consumer如何达成一致,来分配订阅Topic的每个分区,尽量让每个消费者分配到相对均匀的分区,使Consumer的资源都能得到充分利用,防止有些Consumer比较忙,有的Consumer比较闲。转载 2022-11-10 16:01:25 · 5265 阅读 · 0 评论 -
简单介绍Kafka
Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统,最初由 LinkedIn 公司开发,使用Scala 语言编写,目前是 Apache 的开源项目。原创 2022-10-13 23:38:26 · 83 阅读 · 0 评论 -
Kafka中怎么保证消息不会丢失和不重复消费?
Kafka中怎么保证消息不会丢失和不重复消费转载 2022-10-09 10:53:10 · 5324 阅读 · 0 评论