kafka
文章平均质量分 96
星点xingdian
人生中最重要的是希望,有了希望之光,一切皆有可能!
展开
-
kafka如何保证数据不丢失?ack设置为 all和-1
kafka如何保证数据不丢失?不要使用 producer.send(msg),而要使用 producer.send(msg, callback)。设置 acks 这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表原创 2021-06-28 22:59:28 · 1108 阅读 · 0 评论 -
Kafka与RocketMQ性能对比
Kafka 搭建的日志集群单个Topic可以达到几百万的TPS,而使用RocketMQ组件的核心业务集群,集群TPS只能达到几十万TPS。温馨提示:TPS只是众多性能指标中的一个,我们在做技术选型方面要从多方面考虑,本文并不打算就消息中间件选型方面投入太多笔墨,重点想尝试剖析两者在性能方面的设计思想。1、文件布局1.1 Kafka 文件布局Kafka 文件在宏观上的布局如下图所示:正如上图所示,Kafka 文件布局的主要特征如下:文件的组织以 topic + 分区进行组织,每一个 topic原创 2020-12-02 00:06:50 · 437 阅读 · 0 评论 -
构建批流一体数据融合平台的一致性语义
文章首先将从数据融合角度,谈一下 DataPipeline 对批流一体架构的看法,以及如何设计和使用一个基础框架。其次,数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致,即使同步再快,支持的功能再丰富,都没有意义。另外,DataPipeline 目前使用的基础框架为 Kafka Connect。为实现一致性的语义保证,我们做了一些额外工作,希望对大家有一定的参考意义。最后,会提一些我们在应用 Kafka Connect 框架时,遇到的一些现实的工程问题,以及应对方法。尽管大家的场景、环境和原创 2020-11-23 07:46:23 · 268 阅读 · 0 评论