消息中间件
文章平均质量分 52
消息队列
Liu_Shihao
Null
展开
-
RabbitMQ使用方法最详细攻略
本文内容主要包括: 1. RabbitMQ的安装部署2. AMQP架构3. RabbitMQ的通信方式4. RabbitMQ整合SpringBoot5. RabbitMQ保证消息可靠性6. RabbitMQ死信队列和延时交换机7. RabbitMQ集群高可用原创 2022-03-17 12:21:55 · 3340 阅读 · 0 评论 -
kafka日志文件容量过大导致服务器磁盘爆满
问题:由于kafka的数据量太大 ,倒是日志文件太大,将磁盘撑爆了,集群宕机。解决方法:先进入主题分区将.log文件删除,然后修改kafka配置文件server.properties:原创 2020-09-18 18:46:34 · 10542 阅读 · 4 评论 -
Kafka多个消费者监听消费同一个Topic主题
多个消费者监听消费同一个Topic主题一、需求介绍1.图解2.关键注解@kafkaListener二、代码实现1)第一个消费者2)第二个消费者3)生产者三、测试一、需求介绍有一个Topic:hw_data 有3个分区 3个副本组:hw-data-group将这个主题的消息分发给两个(或者多个)消费者消费,(不能消费相同的消息)1.图解2.关键注解@kafkaListener@Target({ ElementType.TYPE, ElementType.METHOD, ElementTyp原创 2020-09-16 16:52:09 · 13704 阅读 · 2 评论 -
kafka基本概念介绍
kafka简单介绍kafka是什么?Kafka 几大概念Topic(主题)Broker(代理)Producer(生产者)Consumer(生产者)Partition(分区)ISR2种leaderController leaderPartition leaderkafka是什么?Kafka是一种高吞吐量的分布式发布订阅消息系统,是一个分布式的、分区的、可靠的分布式日志存储服务。Kafka 几大概念Topic(主题)Kafka 中可将消息分类,每一类的消息称为一个 Topic,消费者可以对不同的原创 2020-09-14 14:24:47 · 609 阅读 · 0 评论 -
当kafka集群其中一台宕机后,集群不能正常工作(已解决)
当kafka集群其中一台挂掉后,会怎么样?一、介绍二、停掉Leader节点二、停掉分区leader节点三、停掉非leader节点一、介绍我们搭建好kafka集群后,对其进行性能测试。遇到这种场景:我搭建好了三台kakfa集群,然后停掉其中一台kafka,然后集群是否能正常工作呢?kafka集群:192.168.183.53 节点1192.168.183.55 节点2192.168.183.62 节点3创建的主题是hw_data:三个分区、三个副本./kafka-topics原创 2020-09-15 15:38:32 · 11728 阅读 · 3 评论 -
kafka消息丢失和消息重复的情况
kafka消息丢失和消息重复的场景一、介绍二、消息丢失三、消息重复一、介绍kafka作为消息队列,一定会有消息丢失和消息重复的问题,那什么场景下会出现这种情况呢?kafka有一个参数叫做acks。当生产者向leader发送消息后,会返回一个确认的消息给生产者。但是什么时候leader会发送确认消息返回给生产者呢?就是通过acks这个参数决定的,这个参数有三种情况0、1、-10:就是不用leader发送确认消息,生产者直接发送消息数据给leader。这种情况就会容易发送消息丢失。1:就是lead原创 2020-09-05 18:44:31 · 344 阅读 · 0 评论 -
kafka性能测试
一、介绍Kafka官方在安装包的bin目录下提供了kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh两个压力测试脚本,分别用于测试生产者和消费者的性能。通过Kafka压力测试脚本,能够得知Kafka集群的性能瓶颈所在(CPU/内存/网络带宽)等,在通常情况下Kafka集群的性能瓶颈是网络带宽kafka集群已经搭好了:搭建部署kafka集群,分别是:192.168.183.53192.168.183.55192.168.183.62二、生原创 2020-09-05 17:03:26 · 378 阅读 · 0 评论 -
搭建Zookeeper集群和Kafka集群详细步骤
搭建部署Kafka集群搭建zookeeper集1.myid文件2.修改zoo.cfg配置文件搭建Kafka集群1.修改kafka配置文件由于硬件原因,只有两台虚拟机,(因为电脑内存不够只有128g,尴尬…)第一台:192.168.103.10第二台:116.62.13.104单机部署请参考Linux安装部署zookeeper、kafka搭建zookeeper集1.myid文件在zookeeper目录下新建data目录,新建myid文件在第一台的myid文件写入0第二台myid文件写入1第原创 2020-09-03 14:34:26 · 388 阅读 · 0 评论 -
如何在阿里云服务器上配置部署kafka
在云服务器上配置部署kafka和zookeeper一、介绍二、打开防护墙端口2181、9092三、打开云服务器的端口四、修改Kafka的配置文件一、介绍同样将压缩包通过ssh工具上传到我们的云服务器上,解压即可。zookeeper的配置是和本地服务器配置是一样的,具体请参考这篇文章CentOS7安装部署kafka和zookeeper,但是不同的是kafka的配置文件的修改。二、打开防护墙端口2181、9092firewall-cmd --zone=public --add-port=2181/tc原创 2020-08-31 23:25:28 · 4665 阅读 · 8 评论 -
SpringBoot项目整合Kafka
SpringBoot项目整合Kafka依赖yml配置文件消费者主启动类测试类进行测试使用SpringBoot来整合Kafka要比Spring项目xml配置文件形式简单的多了。依赖要注意kafka和SpringBoot的版本对应!<!--=====继承SpringBoot父工程=====--> <parent> <groupId>org.springframework.boot</groupId> <arti原创 2020-08-18 10:20:04 · 457 阅读 · 3 评论 -
Linux环境部署kafka_2.11-0.11.0.0和zookeeper-3.4.10
Linux环境下安装部署zookeeper、kafka目录zookeeper和kafka压缩包_linux安装zookeeper解压修改zookeeper配置文件启动zookeeper关闭zookeeper安装akfka解压修改kafka配置文件启动kafka关闭kafkaKafka常用命令行创建主题:查看主题:查看主题详情:生产消息:消费消息:zookeeper和kafka压缩包_linuxkafka需要依赖zookeeper,kafka内部自带的也有zookeeper,但是我们使用自己安装的zook原创 2020-08-18 09:32:35 · 1129 阅读 · 3 评论 -
Spring项目整合kafka_xml配置文件_快速入门
文章目录pom依赖生产者xml配置文件消费者配置xml文件Spring的配置文件消费者测试类进行测试项目中突然要用到kafka,由于没有学过,所以面向百度编程,上网查了很多的资料,最后总结出这篇完整的博客,记录自己学习的过程,还有和大家分享,希望能够帮助到各位。pom依赖maven工程pom文件导入kafka依赖 <!--============Kafka============--> <dependency> <g原创 2020-08-15 11:21:34 · 1483 阅读 · 6 评论 -
CentOS7安装部署消息队列RabbitMQ
RabbitMQ安装部署一、首先安装ERLANG环境1.首先是安装其对应的 yum repo2.接下来执行如下命令正式安装 erlang 环境:二、安装RABBITMQ1.接下来正式开始安装 rabbitmq ,首先依然是安装其对应的 yum repo2.然后执行如下命令正式安装 rabbitmq一、首先安装ERLANG环境因为 RabbitMQ 需要 erlang 环境的支持,所以必须先安装 erlang 。1.首先是安装其对应的 yum repo直接使用命令:curl -s https://p原创 2020-08-30 17:23:58 · 2227 阅读 · 1 评论 -
RabbitMQ通过TTL和DLX实现延时队列
RabbitMQ实现延时队列一、介绍1.TTL如何设置TTL(2种方式):2.Dead Letter Exchanges二、实现延时队列的思路三、SpringBoot+RabbitMQ实现延时队列1.RabbitMQConfig配置类2.消费者类3.生产者测试一、介绍RabbitMQ本身是没有直接支持延迟队列功能,但是可以通过TTL和DLX模拟出延迟队列的功能。 通过RabbitMQ的两个特性来曲线实现延迟队列:Time To Live(TTL) 和 Dead Letter Exchanges(原创 2020-08-27 21:50:35 · 1348 阅读 · 5 评论 -
SpringBoot+RabbitMQ实现消息确认机制及MQ经典面试题
RabbitMQ如何实现消息确认机制简单介绍依赖配置文件yml格式或者是properties格式RabbitMQ配置类创建队列创建交换机将队列绑定到交换机上发送消息确认ConfirmCallback确认模式ReturnCallback 退回模式消息接收确认Controller发送消息测试1. 发送消息测试一下消息确认机制是否生效2.将消息发送不存在队列,触发退回模式3.将消息抛出1/0异常,消息确认失败总结简单介绍可以看到使用了 RabbitMQ 以后,我们的业务链路明显变长了,虽然做到了系统间的解耦,原创 2020-08-20 14:38:48 · 717 阅读 · 1 评论 -
RabbitMQ整合SpringBoot项目用法
SpringBoot整合RabbitMQ依赖yml配置文件RabbitMQ配置类消费者测试类生产消息进行测试依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId></dependency>yml配置文件server: port: 8080sp原创 2020-08-18 10:53:24 · 241 阅读 · 1 评论 -
RabbitMQ整合Spring项目xml配置文件形式
Spring项目整合RabbitMQ依赖生产者xml配置文件消费者xml配置文件Spring的配置文件消费者消费测试类生产消息依赖<dependency> <groupId>org.springframework.amqp</groupId> <artifactId>spring-rabbit</artifactId> <version>2.2.8.RELEASE</version></d原创 2020-08-18 10:40:52 · 1765 阅读 · 1 评论