![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
消息中间件
Janvn
这个作者很懒,什么都没留下…
展开
-
Kafka 0.9 发布
转自:http://colobu.com/2015/12/04/Kafka-0-9-is-released/confluent的CTO Neha Narkhede女士在11月24日宣布 Apache Kafka 发布0.9版本。confluent是由apache kafka的创建者也就是LinkedIn开发Kafka的那个team成立的一家公司。这个版本提供了相当多的Feature和b转载 2016-06-27 10:29:00 · 1102 阅读 · 0 评论 -
Kafka深度解析
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析背景介绍Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的转载 2016-07-01 15:38:45 · 532 阅读 · 0 评论 -
漫游Kafka之过期数据清理
转自:http://blog.csdn.net/honglei915/article/details/49683065Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除,删除后的消息不可恢复。可配置以下两个策略:清理超过指转载 2016-08-08 09:34:55 · 882 阅读 · 0 评论 -
分布式消息队列kafka系列介绍 — 配置文件详解
zz:http://www.inter12.org/archives/842kafka的配置分为 broker、producter、consumer三个不同的配置一 BROKER 的全局配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。帮助123转载 2016-09-14 10:32:44 · 404 阅读 · 0 评论 -
kafka 的offset的重置
最近在spark读取kafka消息时,每次读取都会从kafka最新的offset读取。但是如果数据丢失,如果在使用Kafka来分发消息,在数据处理的过程中可能会出现处理程序出异常或者是其它的错误,会造成数据丢失或不一致。这个时候你也许会想要通过kafka把数据从新处理一遍,或者指定kafka的offset读取。kafka默认会在磁盘上保存到7天的数据,你只需要把kafka的某个topic的cons转载 2016-12-23 09:12:53 · 5922 阅读 · 0 评论 -
kafka数据可靠性深度解读
Kafka起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。1 概述 Kafka与传统消息系统相比,有以下不同:它被设计为一个分布式系统,易于向外扩展;转载 2017-05-01 22:44:40 · 904 阅读 · 0 评论 -
Kafka分区分配策略(Partition Assignment Strategy)
问题用过 Kafka 的同学用过都知道,每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息,我们也可能会启动多个 Consumer 去消费,而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的数据。我们又知道,Kafka 存在 Consumer Group 的概念,也就是 group.id 一样的 Consumer,这些 Cons转载 2017-07-26 09:38:37 · 10380 阅读 · 2 评论