Kafka
杂说
杂说,咋说
展开
-
【转】kafka-告诉你什么是kafka
文章转自:http://orchome.com/5 Kafka作为一个分布式的流平台,这到底意味着什么? 我们认为,一个流处理平台具有三个关键能力: 发布和订阅消息(流),在这方面,它类似于一个消息队列或企业消息系统。 以容错的方式存储消息(流)。 在消息流发生时处理它们。 什么是kakfa的优势? 它应用于2大类应用: 构建实时的流数据管道,可靠地获...转载 2019-01-03 15:10:32 · 482 阅读 · 0 评论 -
kafka-如何保证消息的可靠性与一致性
在kafka中主要通过ISR机制来保证消息的可靠性。 下面通过几个问题来说明kafka如何来保证消息可靠性与一致性 在kafka中ISR是什么? 在zk中会保存AR(Assigned Replicas)列表,其中包含了分区所有的副本,其中 AR = ISR+OSR ISR(in sync replica):是kafka动态维护的一组同步副本,在ISR中有成员存活时,只有这个组的成员才可以成为...原创 2019-01-03 14:54:06 · 6894 阅读 · 2 评论 -
【转】kafka-文件存储机制详解
文章转自“美团技术博客”:https://tech.meituan.com/ Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 1...转载 2019-01-03 15:04:52 · 443 阅读 · 0 评论