消息队列 MQ
文章平均质量分 77
morningcat2018
情深不寿,慧极必伤
展开
-
消息中间件的消费模式
消息中间件的消费模式Push 模式:优势 可以尽可能快的将消息发送给消费者(在 Pull 模式下需要不断的拉取消息,因为并不知道消息队列中是否有新消息)劣势 服务端并不知道消费端的消费能力,不停的发送消息可能在导致消费端缓存区溢出ActiveMQ 中使用 prefetch limit 解决上述劣势当推送消息的数量到达了perfetch limit规定的数值时,消费者还没有向消息中间件返回ACK,消息中间件将不再继续向消费者推送消息如果消息的数量很少(生产者生产消息的速率不快),但是每条消息 消费原创 2022-06-09 10:50:52 · 309 阅读 · 1 评论 -
AMQP 协议及 RabbitMQ 的 Java 用例
AMQP,即Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息,并不受客户端/中间件不同产品,不同的开发语言等条件的限制。Erlang中的实现有RabbitMQ等。...原创 2022-06-09 02:09:08 · 331 阅读 · 0 评论 -
深入理解 Kafka 读书笔记 6 -- 生产者拦截器
深入理解 Kafka 读书笔记 6 – 生产者拦截器拦截器是 Kafka 0.10.0.0 引入的功能分类生产者拦截器消费者拦截器功能可以用来在消息发送前做一些准备工作修改消息、完善消息过滤不需要发送的消息可以用来在发送回调逻辑前做一些定制化的需求统计类工作实现 org.apache.kafka.clients.producer.ProducerInterceptor<K,V> 接口onSendKafkaProducer 在将消息序列化和计原创 2020-07-14 14:28:11 · 200 阅读 · 0 评论 -
深入理解 Kafka 读书笔记 5 -- 序列化器
深入理解 Kafka 读书笔记 5 – 序列化器概念生产者需要用序列化器把对象转换成字节数组才能通过网络发送给 Kafka 服务器消费者需要用反序列化器把从 Kafka 服务器中收到的字节数组转换成相应的对象序列化器与反序列化器需要一一对应序列化器需要实现 org.apache.kafka.common.serialization.Serializer 接口反序列化器需要实现 org.apache.kafka.common.serialization.Deserializer 接口kafka原创 2020-07-14 14:27:16 · 345 阅读 · 0 评论 -
深入理解 Kafka 读书笔记 4 -- 生产者架构
深入理解 Kafka 读书笔记 4 – 生产者架构kafka 生产者架构消息在由 KafkaProducer 发往 Kafka 服务器(Broker or Kafka Cluster)之前,需要经历可能的拦截器、序列化器、分区器等一系列的作用;生产者客户端由两个线程协调运行主线程由 KafkaProducer 创建消息,然后通过可能的拦截器、序列化器和分区器的作用之后缓存到消息累加器( RecordAccumulator ,也称消息收集器)RecordAccumulator 主要用来缓存消原创 2020-07-14 10:32:20 · 134 阅读 · 0 评论 -
深入理解 Kafka 读书笔记 3 -- java 基础 API
深入理解 Kafka 读书笔记 3 – java 基础 API基础 API<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.5.0</version></dependency>package morning.cat.kafka;i原创 2020-07-13 15:50:29 · 156 阅读 · 0 评论 -
深入理解 Kafka 读书笔记 2 -- 基本概念
深入理解 Kafka 读书笔记 2 – 基本概念kafka 的功能消息系统Kafka 与传统的消息系统(消息中间件)都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能;存储系统Kafka 把消息持久化到磁盘,可以把 Kafka 作为长期的数据存储系统来使用,只需要把对应的数据保留策略设置为永久或启用主题的日志压缩功能;流式处理平台为多个流行的流式处理框架提供了可靠的数据来源和流式处理类库;kafka 系统的组成一个 Zookeeper 的集群元数据原创 2020-07-10 16:17:24 · 136 阅读 · 0 评论 -
深入理解 Kafka 读书笔记 1 -- 环境搭建与脚本测试
深入理解 Kafka 读书笔记 1 – 环境搭建与脚本测试安装 JDK…Zookeeper 环境前提:JDK 已安装成功Zookeeper 环境搭建笔记Kafka 环境前提:JDK 已安装成功Zookeeper 已启动下载解压tar zxvf kafka_2.12-2.5.0.tgz配置vi conf/server.properties# 主要配置项broker.id=0# 对外提供服务的入口地址listeners=PLAINTEXT://localh原创 2020-07-10 16:13:51 · 107 阅读 · 0 评论 -
Kafka 简介及基本概念
Kafka 简介简介基本概念1. Zookeeper (注册中心)2. Broker (核心节点)3. Topic (话题)4. Producer (生产者)5. Consumer (消费者)6. other简介Kafka 是一个分布式流平台(Apache Kafka® is a distributed streaming platform)功能发布和订阅记录流,类似于消息队列或企业...原创 2019-06-20 20:27:15 · 3551 阅读 · 0 评论 -
SpringBoot 集成 Kafka 简单实践
SpringBoot 集成 Kafka 简单实践maven依赖配置生产者消费者注意maven依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId></d...原创 2019-06-20 14:00:38 · 1074 阅读 · 0 评论 -
Kafka 简单部署及Java测试
Kafka 简单部署及Java测试快速部署Java 实践快速部署资料来源:https://kafka.apache.org/quickstart下载https://kafka.apache.org/downloads实践:> https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.0/kafka_2.12-2.2.0.tg...原创 2019-06-19 19:58:39 · 1077 阅读 · 0 评论