kafka
lianchaozhao
这个作者很懒,什么都没留下…
展开
-
kafka的幂等性和事务性
一、综述在kafka 0.11版本中已经提出,kafka 将对事务和幂等性的支持,使得kafka 端到端exactly once语义成为可能。幂等性与事务性都是Kafka发展过程中非常重要的。官网摘要附录:kafka已经升级到版本背景:向kafka中生产消息时我们一般通过ack确认机制,但不同级别的ACK导致数据有的情况导致丢失,有的情况导致数据重复。所以为了解决生产数据端到端一致性的问题而引入幂等。二、幂等性在正常情况下,produce向Broker投递消息,broker将消息追加写到对原创 2020-06-23 11:41:41 · 1131 阅读 · 0 评论 -
kafka数据的准确性和一致性保证
数据可靠性kafka作为商业级消息中间件,消息的可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。topic 分区副本数在 Kafka 0.8.0 之前,Kafka 是没有副本的概念的,那时候人们只会用 Kafka 存储一些不重要的数据,因为没有副本,数据很可能会丢失。但是随着业务的发展,支持...原创 2020-04-15 21:06:22 · 1250 阅读 · 0 评论 -
Flink、spark streaming、storm对比的异同
1、flink 、spark streaming 、storm 的异同:flink 架构和容错方面 和spark Straming storm 异同。flink 和storm 、sparkstreaming 在处理模型延迟和数据保证时异同:现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型:流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效...原创 2019-12-30 13:52:12 · 3166 阅读 · 0 评论 -
kafka高性能设计 杂谈
1、kafka 定义:kafka是一个生产-消费模型。producer:生产者,只负责数据生产,生产者的代码可以集成到任务系统中。 数据的分发策略由producer决定,默认是defaultPartition Utils.abs(key.hashCode) % numPartitionsBroker:当前服务器上的Kafka进程,俗称拉皮条。只管数据存储,不管是谁生产,不管是谁消费。在...原创 2019-12-23 19:00:47 · 226 阅读 · 0 评论 -
kafka 常用命令
文章目的:只为记录常用kafka 工作中常用的命令解释:因为选择zk 记录kafka 的元数据 并且指定路径为 /kafka 所以指定zk 命令单独加上/kafka 路径1、查看当前kafka 服务中的所有topickafka-topics --zookeeper ZW0416-hadoop-2-59:2181/kafka --list2、在当前kafka 服务中创建topic 指定...原创 2019-12-13 16:05:36 · 5169 阅读 · 0 评论