![](https://img-blog.csdnimg.cn/20210701203930516.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
文章平均质量分 82
kafka 是一个分布式发布-订阅模式的消息服务工具,依赖于zookeeper进行工作。
mooddance
面向保安编程
展开
-
Rdkafka 生产者、消费者实例(幂等型、 事务型、手动提交)
Rdkafka 生产者、消费者实例(幂等型、 事务型、手动提交)原创 2022-08-03 23:36:13 · 910 阅读 · 0 评论 -
关于 Kafka 你必须知道的知识点(图文详解)
但是 Kafka Consumer Group 机制拥有上面两种优点的同时避免了其缺点,Consumer Group 订阅了多个主题后,组内的每个实例不要求一定要订阅主题的所有分区,它只会消费部分分区中的消息。消息位移是分区内的消息位置,它是不变的,即一旦消息被成功写入到一个分区上,它的位移值就是固定的了;轮询策略保证消息最大限度地被平均分配到所有分区上,有非常优秀的负载均衡表现,总是能保证消息最大限度地被平均分配到所有分区上,故默认情况下它是最合理的分区策略,也是最常用的分区策略之一。原创 2022-08-03 23:26:15 · 1074 阅读 · 0 评论 -
搭建 Kafka 前需要考虑什么方面?
Apache Kafka 是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform)。搭建一个 Kafka 集群需要仔细地考量各种因素,结合自身的业务需求而制定。本文将从操作系统、磁盘、磁盘容量、带宽和节点、参数等几个方便做一个简单的列举。...原创 2022-08-01 17:02:49 · 432 阅读 · 0 评论 -
Kafka - 入门看这篇就够了
Kafka 是什么近几年大数据炙手可热,相信大多数开发者多多少少了解或使用过 Kafka。博主也是刚入门的萌新,所以整理学习中的经验总结。授予有缘人。Kafka 是什么?它是一款开源的消息引擎系统,是 Apache 基金会的一个顶级开源项目。由 Scala 和 Java 编写, 可惜我都不会。对于刚接触 消息引擎系统(Messaging System) 这个词来说是有些迷茫的,维基百科中是这样描述:是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规原创 2021-07-01 23:15:11 · 232 阅读 · 2 评论 -
零拷贝-浅谈
前言经常听到到“零拷贝”,望文生义认为就是文件传输时候没有发生拷贝行为,全靠意念传输…其实零拷贝含义是:不使用 CPU 来进行数据复制,不在用户态进行数据移动,使用 DMA 芯片代替 CPU 进行数据复制和移动。知识储备在了解零拷贝之前我们需要先了解上下文、用户态和内核态、DMA等知识点。上下文上高中时候,语文课中有道大题是阅读理解。里面有几个小题是摘取一段话,让你分析表达作者什么心理活动巴拉巴拉这些。如果只有这段话,想必只有神才知道作者在想啥。所以要结合这句话的上下文一起来分析,不过通常只用到原创 2021-05-04 23:13:06 · 426 阅读 · 0 评论