- 博客(4)
- 资源 (12)
- 收藏
- 关注
原创 Kafka日志清理之Log Compaction
在上一篇文章《Kafka日志清理之Log Deletion》中介绍了日志清理的方式之一——日志删除,本文承接上篇,主要来介绍Log Compaction。Kafka中的Log Compaction是指在默认的日志删除(Log Deletion)规则之外提供的一种清理过时数据的方式。如下图所示,Log Compaction对于有相同key的的不同value值,只保留最后一个版本。如果应用...
2018-05-28 19:57:16 9199 8
原创 Kafka日志清理之Log Deletion
Kafka将消息存储在磁盘中,为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作。Kafka中每一个分区partition都对应一个日志文件,而日志文件又可以分为多个日志分段文件,这样也便于日志的清理操作。Kafka提供了两种日志清理策略:日志删除(Log Deletion):按照一定的保留策略来直接删除不符合条件的日志分段。日志压缩(Log Compaction):针对每个消息的...
2018-05-23 12:35:51 31443 12
原创 Kafka消息格式中的变长字段(Varints)
kafka从0.11.0版本开始所使用的消息格式版本为v2,这个版本的消息相比于v0和v1的版本而言改动很大,同时还参考了Protocol Buffer而引入了变长整型(Varints)和ZigZag编码。为了更加形象的说明问题,首先我们来了解一下变长整型。Varints是使用一个或多个字节来序列化整数的一种方法。数值越小,其所占用的字节数就越少。Varints中每个字节都有一个位于最...
2018-05-13 16:25:44 2478 2
原创 一文看懂Kafka消息格式的演变
摘要对于一个成熟的消息中间件而言,消息格式不仅关系到功能维度的扩展,还牵涉到性能维度的优化。随着Kafka的迅猛发展,其消息格式也在不断的升级改进,从0.8.x版本开始到现在的1.1.x版本,Kafka的消息格式也经历了3个版本。本文这里主要来讲述Kafka的三个版本的消息格式的演变,文章偏长,建议先关注后鉴定。Kafka根据topic(主题)对消息进行分类,发布到Kafka集群的每条...
2018-05-13 16:21:20 28292 8
spring+activemq必备jar包
2016-04-15
序列化工具(Gson, Jackson, FastJson, ProtoBuf)
2016-02-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人