kafka
小丑鱼1127
性格开朗,热爱计算机学识,积极向上,具有团队精神
展开
-
Spark Streaming与Kafka如何保证数据零丢失
1、At most once - 每条数据最多被处理一次(0次或1次),这种语义下会出现数据丢失的问题;2、At least once - 每条数据最少被处理一次 (1次或更多),这个不会出现数据丢失,但是会出现数据重复;3、Exactly once - 每条数据只会被处理一次,没有数据会丢失,并且没有数据会被多次处理,这种语义是大家最想要的,但是也是最难实现的。spark streami...转载 2019-03-13 10:49:12 · 571 阅读 · 0 评论 -
Kafka 是否可以用做长期数据存储?
问题“把 Kafka 作为长期存储有问题吗?”这是一个非常常见的问题,我们知道,Kafka 是这样存储日志记录的答案是“可以”,只要把数据保留时间设置为“永久”,或者开启日志压缩,数据就会被一直保存把数据长期存储在 Kafka,这个做法并不疯狂,很多人已经在这么用,并且 Kafka 的设计中也涵盖了这种用法,下面是一些实际应用的场景应用场景(1)你有一个应用,使用了事件模...转载 2019-06-20 14:35:09 · 1211 阅读 · 0 评论