消息引擎
leiax00
这个作者很懒,什么都没留下…
展开
-
消息引擎/kafka简介
文章目录1.消息引擎的传输模型2.Kafka术语3.kafka介绍4.kafka线上部署考量操作系统磁盘磁盘容量带宽消息引擎的作用:削峰填谷,即平衡系统上下游的流量;消息引擎传输的对象是消息;如何传输消息属于消息引擎设计的一部分;1.消息引擎的传输模型点对点模型:即消息队列模型。就是说系统A发送的消息只能被系统B接收,其他任何系统都不能读取到A发送的消息;发布/订阅模型:以主题T...原创 2019-09-07 13:50:32 · 1053 阅读 · 0 评论 -
kafka集群参数配置
文章目录1.Broker 端参数a.针对储存信息的参数b.kafka 与 zooKeeper相关的参数c.针对Broker连接的参数d.针对Topic管理的参数e.针对数据留存的参数2.Topic级别的参数kafka集群参数配置包括 Broker端参数、Topic级别的参数、JVM端参数 以及 操作系统级别的参数配置;该篇用于介绍常用的一些参数配置,因为有些配置的重要性并未在官方文档中表现出...原创 2019-09-09 22:59:10 · 740 阅读 · 0 评论 -
kafka无消息丢失配置
文章目录概念消息丢失的可能原因最佳实践Kafka只对 “已提交” 的消息(committed message)做有限度的持久化保证;概念已提交消息: 当Kafka的若干个 Broker 成功的接收到一跳消息并写入到日志系统后,就会通知生产者程序这条消息已提交;有限度的持久化保证:如果你的消息保存在 N 个 Broker 节点上,那么持久化的前提就是这 N 个Broker至少有一个节点...原创 2019-09-11 21:34:41 · 212 阅读 · 0 评论 -
Kafka拦截器概述
文章目录Kafka 拦截器生产者拦截器生产者拦截器实现消费者拦截器消费者拦截器实现Kafka拦截器使用场景实例化 -- 延时监控拦截器:允许应用在不修改逻辑的情况下,动态的实现一组可插拔的时间处理逻辑链;它被曝光贵阳在主业务操作的前后多个时间点插入对应的 “拦截逻辑”;REQUEST --> INTERCEPTOR1 --> INTERCEPTOR2 --> BUSINES...原创 2019-09-12 12:36:12 · 1085 阅读 · 0 评论 -
kafka生产者剖析
文章目录1. 生产者消息分区机制a. 分区的作用b. 分区策略2. 生产者压缩算法a. Kafka压缩方式-消息格式b. 压缩时机c. 解压时机d. 压缩算法1. 生产者消息分区机制Kafka 主题(Topic)是承载真实数据的逻辑容器,而在主题之下还分为若干个分区,也就是说 Kafka 的消息组织方式实际上是三级结构:主题 - 分区 - 消息。主题下的每条消息只会保存在某一个分区中,而不会...原创 2019-09-10 22:58:47 · 178 阅读 · 0 评论 -
Kafka消费者剖析
文章目录消费者组特性消费者组位移管理消费者组的重平衡重平衡时机重平衡策略Rebalance注意事项该篇主要介绍Kafka消费者相关一些知识点,以及使用时需要注意的事项;消费者组消费者组(Consumer Group):是 Kafka 提供的可扩展且具有容错性的消费者机制。其中可以有多个消费者或者消费者实例,他们共享一个公共ID(Group ID)。每一个分区只能由同一个消费者组内的一...原创 2019-09-17 23:23:43 · 232 阅读 · 0 评论