消息队列MQ
发抖吧小喵喵
这个作者很懒,什么都没留下…
展开
-
现网环境快速测试kafka接收消息--python操作kafka
1、问题:目前现网环境中使用到的kafka服务器是别人的,我们无法登入,现在想查看某一个topic的消费信息当前服务器没有安装kafka应用程序,所以也无法使用kafka-console-consumer.sh来连接,写一个java程序来上传包在运行过于复杂,可以考虑使用python脚本来连接测试消费数据首先 ,默认linux环境自带了python,我们只需要安装一个python的kafka的第三方库即可# 上传kafka-1.3.5.tar.gz[root@k8s-fengfan opt]# .原创 2020-12-24 18:23:42 · 830 阅读 · 2 评论 -
单机版K8s安装rabbitmq最新版方法
目录一、拉取rabbitmq的镜像二、创建一个configmap三、创建Deployment的yaml文件四、创建service的yaml文件五、启动服务一、拉取rabbitmq的镜像[root@k8s-fengfan default]# docker pull rabbitmqUsing default tag: latestTrying to pull repository docker.io/library/rabbitmq ...sha256:a19f0e3e9b0986948c2072a原创 2020-12-23 00:09:35 · 1573 阅读 · 1 评论 -
Kafka学习笔记(六)· 高级应用~集群~监控
目录八、高级应用1、命令行工具1、消费组管理2、消费位移管理2、数据管道Connect1、概述2、独立模式-文件系统3、SpringBoot Kafka1、添加pom文件2、添加application.properties3、消息的发送4、消息的接收5、Kafka事务的支持九、集群管理1、集群使用场景2、集群搭建1、Kafka集群搭建3、多集群同步1、配置十、监控1、监控度量指标1、JMX2、JConsole3、代码来监控指标2、broker监控指标1、活跃控制器2、请求处理器空闲率3、主题流入字节4、主题原创 2020-12-22 13:57:10 · 1101 阅读 · 0 评论 -
Kafka学习笔记(六)· 稳定性
目录七、稳定性1、幂等性2、事务3、控制器4、可靠性保证5、一致性保证6、消息重复的场景及解决方案1、生产者端重复2、消费者端重复1、根本原因7、_consumer_offsets1、何时创建2、解析分区七、稳定性kafka的消息传输保障机制非常直观。当producer向broker发送消息时,一旦这条消息被commit,由于副本机制(replication)的存在,他就不会丢失。但是如果producer发送数据给broker后,遇到的网络问题而造成通信中断,那producer就无法判断该条消息是否已经原创 2020-12-21 16:21:29 · 758 阅读 · 0 评论 -
Kafka学习笔记(四)·主题Topic的管理
目录四、主题1、管理1、创建主题2、查看主题3、修改主题4、删除主题2、增加分区3、KafkaAdminClient应用四、主题1、管理1、创建主题[root@k8s ~]# bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic hello --partitions 2 --replication-factor 1# localhost:2181 zookeeper所在的ip,zookeeper必穿参数,多个zookeepe原创 2020-12-18 15:49:43 · 321 阅读 · 2 评论 -
Kafka学习笔记(三)· 消费者详解
目录三、消费者详解1、概念入门2、消息接收1、必要参数设置2、订阅主题和分区3、反序列化4、位移提交5、指定位移消费6、再均衡监听器7、消费者拦截器8、消费者参数补充1、fetch.min.bytes2、fetch.max.wait.ms3、max.partition.fetch.bytes4、max.poll.records三、消费者详解1、概念入门消费者和消费组Kafka消费者是消费组的一部分,当多个消费者形成一个消费组来消费主题时,每个消费者会收到不同分区的消息。假设有一个T1主题,该主题有4原创 2020-12-04 17:56:06 · 534 阅读 · 0 评论 -
Kafka学习笔记(二)· 生产者详解
目录二、生产者详解1、相关介绍1、java客户端数据生产流程图2、发送类型3、序列化器4、自定义序列化器5、分区器6、拦截器2、发送原理刨析3、其他生产者参数1、acks2、retries3、batch.size4、max.request.size二、生产者详解1、相关介绍1、java客户端数据生产流程图2、发送类型发送即忘记producer.send(record);同步发送//通过send()发送完消息后返回一个Future对象,然后调用Future对象的get()方法等待k原创 2020-12-04 17:55:24 · 196 阅读 · 0 评论 -
Kafka学习笔记(一)· Kafka入门介绍及java入门
目录一、Kafka入门1、基本概念1、特性2、使用场景3、基本概念2、kafka的安装与配置3、kafka测试消息生产与消费1、首先创建一个主题2、展示所有主题3、查看主题详情4、启动消费端接收消息5、启动生产者发送消息4、java操作kafka入门1、创建生产者2、创建消费者3、效果4、服务端常用参数配置一、Kafka入门Apache Kafka是一个分布式的发布-订阅消息系统,能够支撑海量数据的数据传递,在离线和实时的消息处理业务系统中,Kafka都有广泛的应用。Kafka将消息持久化到磁盘中,并原创 2020-12-03 18:12:43 · 457 阅读 · 0 评论 -
RocketMQ4.4笔记 (四)RocketMQ集群
目录四、RocketMQ集群1、RocketMQ集群模式1、单个Master2、多个Master3、多Master多Slave模式-异步复制4、多Master多Slave模式-同步双写2、RocketMQ主从搭建1、环境准备2、安装配置(slave)3、修改从节点配置4、控制台配置5、主从模式故障演练3、RocketMQ集群搭建-双主双从1、准备工作2、RocketMQ安装3、修改映射路径4、RocketMQ节点配置5、RocketMQ集群启动测试四、RocketMQ集群1、RocketMQ集群模式1原创 2020-11-16 15:20:37 · 274 阅读 · 0 评论 -
RocketMQ4.4笔记 (三)springboot操作rocketmq
目录三、Springboot操作RocketMQ1、引入依赖添加配置文件2、普通消费者生产者1、添加配置Topic2、生产者3、消费者2、广播订阅模式2、生产者3、消费者3、路由tag过滤模式1、添加配置文件2、生产者3、消费组三、Springboot操作RocketMQ1、引入依赖添加配置文件pom.xml<dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>roc原创 2020-11-16 15:17:08 · 467 阅读 · 0 评论 -
RocketMQ4.4笔记 (二)java操作rocketmq入门
目录二、RocketMQ快速入门1、消息生产和消费介绍2、工程创建3、RockerMQ普通消息消费者1、消息消费4、RocketMQ顺序消息1、服务端2、消费端5、RocketMQ事务消息1、RocketMQ事务消息流程2、事务消息生产者3、事务消息消费者4、RocketMQ实现分布式事务流程6、消息广播/批量发送1、消息生产者2、消费端二、RocketMQ快速入门1、消息生产和消费介绍使用RocketMQ可以发送普通消息、顺序消息、事务消息,顺序消息能实现有序消费,事务消息可以解决分布式事务实现数原创 2020-11-16 15:02:33 · 594 阅读 · 0 评论 -
RocketMQ4.4笔记 (一)入门以及安装
目录一、RocketMQ1、MQ介绍2、RocketMQ环境要求3、RocketMQ下载4、单节点RocketMQ安装1、环境准备2、安装配置3、RocketMQ控制台安装4、RocketMQ架构介绍一、RocketMQ1、MQ介绍RocketMQ的前身是Metaq,当Metaq3.0发布时,产品名称改为RocketMQ,RocketMQ是一款分布式、队列模型的消息中间件,具有以下特点:能够保证严格的消息顺序提供丰富的消息拉取模式高效的订阅者水平扩展能力实时的消息订阅机制支持事务消息亿级原创 2020-11-16 15:00:32 · 391 阅读 · 0 评论 -
常用的MQ比较
目录一、资料文档二、开发语言三、支持的协议四、消息存储五、消息事务六、负载均衡七、集群方式八、管理界面九、可用性十、消息重复十一、吞吐量TPS一、资料文档Kafka:中,有Kafka作者自己写的书,网上资料也有一些rabbitMq:多,有一些不错的书,网上资料多rocketmq:少,没有专门写rocketmq的书,网上的资料良莠不齐,官方文档很简洁,但是对技术细节没有过多的描述。activemq:多,没有专门写activemq的书,网上资料多二、开发语言Kafka:Scalarabbitmq原创 2020-11-13 15:38:28 · 1543 阅读 · 0 评论 -
RabbitMq (四) rabbitmq集群
目录六、RabbitMQ的集群1、普通集群2、镜像集群六、RabbitMQ的集群1、普通集群默认情况下:RabbitMQ代理操作所需的所有数据/状态都将跨所有节点复制,这方面的一个例外时消息队列,默认情况下,消息队列位于一个节点上,尽管他们可以从所有节点看到和访问1、架构图2、集群搭建# 1、集群规划node1: 10.15.0.3 mq1 master 主节点node2: 10.15.0.4 mq2 repl1 副本节点node3: 10.15.0.5 mq3 repl2原创 2020-11-13 11:40:23 · 144 阅读 · 0 评论 -
RabbitMq (三) springboot操作rabbitmq
目录五、SpringBoot中使用RabbitMQ1、搭建初始环境2、第一种hello world模型使用3、Fanout广播模型4、路由模式5、Topic订阅模式(动态路由模型)五、SpringBoot中使用RabbitMQ1、搭建初始环境引入依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp<原创 2020-11-13 11:39:21 · 132 阅读 · 0 评论 -
RabbitMq (二) java操作rabbitmq
目录四、Rabbitmq的第一个程序1、rabbitmq支持的消息模型2、引入依赖3、第一种模型(直连)4、第二种模型(work queue)5、第三种模型(fanout)6、第四种模型(Routing)1、Routing之订阅模型-Direct2、Routing之订阅模型-Topic四、Rabbitmq的第一个程序1、rabbitmq支持的消息模型2、引入依赖<dependency> <groupId>com.rabbitmq</groupId>原创 2020-11-13 11:38:12 · 324 阅读 · 0 评论 -
RabbitMq (一) 基本介绍以及安装
目录一、MQ引言1、什么是MQ2、MQ有哪些3、不同的MQ特点二、RabbitMQ的安装1、下载2、安装步骤3、RabbitMQ配置1、RabbitMq管理命令行2、Web管理界面介绍三、MQ的应用场景1、异步处理2、应用解耦3、流量削峰一、MQ引言1、什么是MQMQ(Message MQ),翻译为消息队列,通过典型的生产者和消费者模型,生产者不断向消息队列中生产消息,消费组不断的从队列中获取消息。因为消息的生产和消费都是异步的,而且只关心消息的发送和接收,没有业务逻辑的侵入,轻松的实现系统间解耦,原创 2020-11-13 11:34:51 · 227 阅读 · 0 评论