![](https://img-blog.csdnimg.cn/20210511154759227.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
消息中间件
主要是个人学习 消息中间件的记录
大龄码农生活
这个作者很懒,什么都没留下…
展开
-
kafka学习---消息的存储机制(日志)
消息发送端发送消息到broker上以后,消息是如何持久化的呢?那么接下来去分析下消息的存储 首先我们需要了解的是,kafka是使用日志文件的方式来保存生产者和发送者的消息,每条消息都有一 个offset值来表示它在分区中的偏移量。Kafka中存储的一般都是海量的消息数据,为了避免日志文件过大,Log并不是直接对应在一个磁盘上的日志文件,而是对应磁盘上的一个目录,这个目录的命名规则 是 <topic_name> _<partion_id>消息的文件存储机制 一个...原创 2020-10-26 15:56:13 · 763 阅读 · 0 评论 -
Kafka学习---分区与副本原理解析
一、kafka集群kafka集群是由broker组成的。Broker 是 Kafka 的服务节点,即 Kafka 的服务器。其架构图下图: Producer:生产者,也就是发送消息的一方。生产者负责创建消息,然后将其发送到 Kafka。 Consumer:消费者,也就是接受消息的一方。消费者连接到 Kafka 上并接收消息,进而进行相应的业务逻辑处理。 Consumer Group:一个消费者组可以包含一个或多个消费者。使用多分区 + 多消费者方式可以极大提高数据下游的处理原创 2020-10-26 14:39:37 · 1678 阅读 · 0 评论 -
Kafka学习--- 消费者分区分配策略与再均衡Rebalance
一、消费者和消费者组 当生产者向 Topic 写入消息的速度超过了消费者(consumer)的处理速度,导致大量的消息在 Kafka 中淤积,此时需要对消费者进行横向伸缩,用多个消费者从同一个主题读取消息,对消息进行分流。Kafka 的消费者都属于消费者组(consumer group)。一个组中的 consumer 订阅同样的 topic,每个 consumer 接收 topic 一些分区(partition)中的消息。同一个分区不能被一个组中的多个 consumer 消费。假设现在有一...原创 2020-10-24 22:51:15 · 2233 阅读 · 0 评论 -
Kafka学习--- Kafka Producer生产者
这里主要是记录学习使用,介绍Kafka Producer基本使用和基本原理。从编程的角度而言, 生产者就是负责向 Kafka发送消息的应用程序。一、基本概念1.1、Kafka Producer 的执行过程Kafka producer 的正常生产逻辑包含以下几个步骤: 配置生产者客户端参数常见生产者实例。 构建待发送的消息。 发送消息。 关闭生产者实例。 代码实现:public class Producer { public stat.原创 2020-10-22 17:54:10 · 568 阅读 · 0 评论 -
RabbitMQ学习第二课 交换器Exchange详解与实践
有了Rabbit的基础知识之后(基础知识详见:RabbitMQ学习第一课 工作模型与Java编程),本章我们重点学习一下Rabbit里面的exchange(交换器)的知识。交换器分类RabbitMQ的Exchange(交换器)分为四类:direct(默认) headers fanout topic其中headers交换器允许你匹配AMQP消息的header而非路由...转载 2019-07-10 16:13:01 · 170 阅读 · 0 评论 -
RabbitMQ学习第一课 工作模型与Java编程
典型应用场景1、跨系统的异步通信 人民银行二代支付系统,使用重量级消息队列 IBM MQ,异步,解耦,削峰都有体现。2、应用内的同步变成异步 秒杀:自己发送给自己3、基于Pub/Sub模型实现的事件驱动 放款失败通知、提货通知、购买碎屏保 系统间同步数据 摒弃ELT(比如全量 同步商户数据); 摒弃API(比如定时增量获取用户、获取产品,变成增量广播)。4、利用RabbitMQ实现事...原创 2019-07-09 16:47:24 · 125 阅读 · 0 评论 -
ZooKeeper总结学习 第一课---Zookeeper简单介绍
本文部分为转载,主要是用自己学习记录用。地址:https://www.cnblogs.com/wuxl360/p/5817471.html#4071511一、分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技术。那么什么是分布式协调技术?那么我来告诉大家,其实分布式协调技术 主要用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去...原创 2019-03-28 14:46:14 · 103 阅读 · 0 评论