RabbitMQ

最新推荐文章于 2024-09-11 14:10:29 发布
最新推荐文章于 2024-09-11 14:10:29 发布
阅读量92 收藏
点赞数
文章标签： 大数据 运维 python
原文链接：https://my.oschina.net/u/2400083/blog/911098
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

持久化、高可用、高可靠 的企业级消息队列系统，集成强大的监控、限流、负载均衡等功能

基于Docker安装

# 默认要求至少200M空闲磁盘空间
- hostname影响存储数据路径
- 默认management账号密码guest / guest
docker run -d --hostname rabbit --name rabbit -p 8080:15672 -e RABBITMQ_DEFAULT_USER=guest -e RABBITMQ_DEFAULT_PASS=guest rabbitmq:3.6.10-management-alpine

Broker

架构
  • 一个Exchange对接多个Queue场景
  • 一个Queue可以承载同一类型的多个具体Job(通过bingding_key区分)，例如短信job、邮件job都可以投放到nofication队列

RabbitMQ工作流

工作流
生产者 —交换机—>RoutingKey— VS  —BindingKey—> 队列 ——> 消费者

1. 交换机和队列通过key匹配绑定，多个绑定可使用相同key
2. 生产者投递一个消息及key，并经由交换机路由到key匹配的队列中存储
3. 消费者监听队列获取由其分发的消息并进行处理
交换机模式
  • fanout — 发布订阅模式（广播给exchange绑定的所有队列，无视key配置）
  • direct — RoutingKey==BindingKey
  • topic — RoutingKey match BindingKey，且Key均由点号分隔的主题词构成（*表一个词，#表多个词）
队列分发模式(QOS配置)
  • 循环发放（Round-robin dispatching） - 消费者按序分发（默认分发模式）
  • 公平发放（Fair dispatching） - 消费者空闲就分发，忙则检查下一个消费者
消息确认模式
  • 默认模式 - 消息分发后即删除消息
  • 确认模式 - 消息处理完后消费者返回Acknowledgment，接着队列删除相应消息（避免消息丢失）
几个重要指标
  • Consumer utilisation：队列的消费者利用率（尽量提高该指标）
  • Process memory：队列的内存消耗（ack回执、消费者缺乏时将导致消息积压，该指标升高）

基于Laravel驱动调用

安装
# composer
composer require vladimir-yuldashev/laravel-queue-rabbitmq:5.4

# 注册
VladimirYuldashev\LaravelQueueRabbitMQ\LaravelQueueRabbitMQServiceProvider::class

# 环境变量
QUEUE_DRIVER=rabbitmq
RABBITMQ_HOST=127.0.0.1
RABBITMQ_PORT=5672
RABBITMQ_VHOST=/  #虚拟机（用户和权限配置的最小单位，默认/）
RABBITMQ_LOGIN=guest
RABBITMQ_PASSWORD=guest
RABBITMQ_QUEUE=queue_name
队列配置
  • config/queue.php中新增链接
  • 每个connection固定host、vhost、exchange，但可以使用多个queue
  • 可以通过$job->onConnection())切换链接来使用其他的RabbitMQ主机和交换机
'rabbitmq' => [
    'driver' => 'rabbitmq',
    'host' => env('RABBITMQ_HOST', '127.0.0.1'),
    'port' => env('RABBITMQ_PORT', 5672),
    'vhost'    => env('RABBITMQ_VHOST', '/'),
    'login'    => env('RABBITMQ_LOGIN', 'guest'),
    'password' => env('RABBITMQ_PASSWORD', 'guest'),
    'queue' => env('RABBITMQ_QUEUE'),
    // name of the default queue,
    'exchange_declare' => env('RABBITMQ_EXCHANGE_DECLARE', true),
    // create the exchange if not exists
    'queue_declare_bind' => env('RABBITMQ_QUEUE_DECLARE_BIND', true),
    // create the queue if not exists and bind to the exchange
    'queue_params' => [
        'passive'     => env('RABBITMQ_QUEUE_PASSIVE', false),
        'durable'     => env('RABBITMQ_QUEUE_DURABLE', true),
        'exclusive'   => env('RABBITMQ_QUEUE_EXCLUSIVE', false),
        'auto_delete' => env('RABBITMQ_QUEUE_AUTODELETE', false),
    ],
    'exchange_params' => [
        'name' => env('RABBITMQ_EXCHANGE_NAME', null),
        'type' => env('RABBITMQ_EXCHANGE_TYPE', 'direct'),
        // more info at http://www.rabbitmq.com/tutorials/amqp-concepts.html
        'passive' => env('RABBITMQ_EXCHANGE_PASSIVE', false),
        'durable' => env('RABBITMQ_EXCHANGE_DURABLE', true),
        // the exchange will survive server restarts
        'auto_delete' => env('RABBITMQ_EXCHANGE_AUTODELETE', false),
    ],
],

基于AmqpLib包调用

安装
composer require php-amqplib/php-amqplib:2.6.*
公共文件
use PhpAmqpLib\Connection\AMQPStreamConnection;
use PhpAmqpLib\Message\AMQPMessage;

$connection = new AMQPStreamConnection(HOST, PORT, USER, PASS, VHOST);
$channel = $connection->channel();

/** 队列服务质量配置
 * @param int $prefetch_size  推荐null
 * @param int $prefetch_count  消费者一次预取消息数
 * @param bool $a_global  推荐null
**/
$channel->basic_qos($prefetch_size, $prefetch_count, $a_global);

#配置交换机（不存在则创建）
$channel->exchange_declare(
	string $exchangeName,
	string $type='direct', #交换机类型
	bool $passive=false,
	bool $durable=true, #交换机是否持久化(如果可靠性要求不高则推荐设定为非持久化，性能差异10倍以上)
	bool $auto_delete=false
);

register_shutdown_function(function() use($channel,$connection){
    $channel->close();
    $connection->close();
})
生产者

按需执行消息投递

include 公共文件;

$message1 = new AMQPMessage(
	string $messageBody1,
	[
		'content_type' => 'text/plain',
		'delivery_mode' => AMQPMessage::DELIVERY_MODE_PERSISTENT #声明消息为持久化(推荐),
	]
);
$message2 = $message1->setBody(string $messageBody2); #复用原消息体提升速度

## 单发消息到交换机 ##
$channel->basic_publish($message1, $exchange[, $routing_key]); #未指定交换机则直接路由至routing_key匹配的队列
$channel->basic_publish($message2, $exchange[, $routing_key]);

## 批发消息到交换机（批量模式提升速度） ##
$channel->batch_basic_publish($message1, $exchange[, $routing_key]);
$channel->batch_basic_publish($message2, $exchange[, $routing_key]);
$channel->publish_batch();
消费者使用

要求服务常驻，持续监听队列

include 公共文件;

#配置队列（不存在则创建）
$channel->queue_declare(
	string $queueName='', #传入空串则创建自动命名队列（$return[0]为队列名）
	bool $passive=false,
	bool $durable=false, #队列是否持久化(如果可靠性要求不高则推荐设定为非持久化，性能差异10倍以上)
	bool $exclusive=false, #声明独占式队列（connection中断后队列自动删除）
	bool $auto_delete=true
);
$channel->queue_bind($queueName, $exchangeName[, $binding_key]);  #队列绑定交换机

function handler(AMQPMessage $message){
	$message->body;
	$message->delivery_info['channel']->basic_ack(string $message->delivery_info['delivery_tag'], bool $multiple = false);
}

$channel->basic_consume(
	string $queueName,
	string $consumerTag,
	bool $no_local=false,
	bool $no_ack=true, #是否启用ack确认消息（如果可靠性要求不高则推荐设定为非ack）
	bool $exclusive=false,
	bool $nowait=false,
	callback $handler
);

### 正式结束进程：程序运转至calllbacks空 ###
while (count($channel->callbacks)) {
    $channel->wait();
}

### 临时结束进程：监听Linux系统中断信号 ###
$pcntlHandler = function ($signal) {
    switch ($signal) {
        case \SIGTERM:
        case \SIGUSR1:
        case \SIGINT:
            // 一些消费者退出前的收尾工作 . . .
            pcntl_signal($signal, SIG_DFL);
            posix_kill(posix_getpid(), $signal);
        case \SIGHUP:
            // 一些消费者启动前的准备工作 . . .
            break;
        default:
            // do nothing
    }
};
pcntl_signal(\SIGTERM, $pcntlHandler);
pcntl_signal(\SIGINT,  $pcntlHandler);
pcntl_signal(\SIGUSR1, $pcntlHandler);
pcntl_signal(\SIGHUP,  $pcntlHandler);
服务初始化
  1. 先启动消费者服务
  2. 后启动生产者服务

AMQP更对象写法

//公共部分
$connection = new AMQPConnection(['host'=>HOST, 'port'=>PORT, 'vhost'=>VHOST, 'login'=>USER, 'password'=>PWD]);
$connection->connect() OR die('can`t connect to rabbit');
register_shutdown_function(function()use($connection){
    $connection->disconnect();
});

$channel = new AMQPChannel($connection);
$channel->qos($size=null, $count=1);

$exchange = new AMQPExchange($channel);
$exchange->setName($exchangeName='my_exchange');
$exchange->setType(AMQP_EX_TYPE_DIRECT);
$exchange->setFlags(AMQP_DURABLE);
$exchange->declareExchange();



//生产者
$exchange->publish($message = '', $routing_key = null, $flags = AMQP_NOPARAM);



//消费者
$queue = new AMQPQueue($channel);
$queue->setName($queueName='my_queue');
$queue->setFlags(AMQP_DURABLE);
$queue->bind($exchangeName='my_exchange', $routingKey='');
$queue->consume(function($envelope, $queue){
    $routingKey = $envelope->getRoutingKey();
    $msg = $envelope->getBody(;
}, AMQP_AUTOACK);

服务管理

  • 启动管理插件rabbitmq-plugins enable rabbitmq_management(host:15672)
  • 罗列交换机rabbitmqctl list_exchanges
  • 罗列队列rabbitmqctl list_queues [fields]
  • 罗列绑定rabbitmqctl list_bindings
  • 增加虚拟机rabbitmqctl add_vhost 虚拟机名（用户和权限配置的最小单位）
  • 增加用户rabbitmqctl add_user 账号 密码
  • 配置权限rabbitmqctl set_permissions -p 虚拟机名 账号 ".*" ".*" ".*"

转载于:https://my.oschina.net/u/2400083/blog/911098

weixin_34111819
关注
rabbitmq性能优化之Consumer utilisation
weixin_34345560的博客
12-31 2547
如下所示，每个rabbitmq队列除了发布和消费吞吐量外，还有一个评价MQ队列效率的更加重要的指标Consumer utilisation ，如下： 在最佳利用率情况下，这个值能够达到100%，并且生产中总是应该达到100%。但在很多系统中，这个值可能低于5%。这一般是由于下列原因所致（这三者我们都遇到过）： 1、消费者太少； 2、消费端的ack太慢； 3、消费者太多； 4、非自动ack； 4...
laravel-queue-rabbitmq插件添加
weixin_34377919的博客
05-06 757
一、 composer require vladimir-yuldashev/laravel-queue-rabbitmq:5.2 composer update 二、 在config/app.php文件中，providers数组中添加 VladimirYuldashev\LaravelQueueRabbitMQ\LaravelQueueRabbitMQ...
laravel之rabbitmq组件使用
yan_dk的专栏
06-15 2686
介绍 laravel入门及技术指南，参见相关文章。laravel集成使用消息中间件rabbitmq，提供服务器异步消息处理，提升服务器性能。下面谈谈如何安装及集成使用。 安装 代码集成 .env文件 ... #laravel默认连接为sync，改为rabbitmq QUEUE_CONNECTION=rabbitmq #增加rabbitmq QUEUE_DRIVER=rabbitmq RABBITMQ_HOST=172.17.0.3 RABBITMQ_PORT=567...
RabbitMQ：Queue的介绍和使用
编程学习者的博客
05-13 7055
1.声明 当前内容用于本人学习和使用当前的Queue,当前内容为RabbitMQ中对Queue的介绍 当前内容来源：RabbitMQ中的Queue 2.Queue的官方介绍 首先先分析以下前面的Queue的使用，其实这个东西就是一个队列，一个存储消息的队列，并且可以持久化，而且这个队列中的消息可以被消费，如果出现死信则是死信队列，死信队列也是可以被处理的 接下来就是官方介绍 Queues in the AMQP 0-9-1 model are very similar to queues in other
laravel5.8框架安装rabbitMQ
05-17 886
laravel框架的版本是5.8 1laravel添加rabbitMQ 2composerrequirevladimir-yuldashev/laravel-queue-rabbitmq 3composer update 在config/app.php文件中，providers数组中添加 VladimirYuldashev\LaravelQueueRabbit...
RabbitMQ Server3.13.0
04-02
**RabbitMQ Server 3.13.0** RabbitMQ 是一个开源的消息代理和队列服务器，它基于AMQP（Advanced Message Queuing Protocol）协议，用于在分布式系统中高效地路由和传递消息。RabbitMQ 3.13.0 版本是其稳定版本之一...
RabbitMQ实战指南-rabbitmq-action.zip
11-07
**RabbitMQ实战指南** RabbitMQ是一款广泛应用的开源消息队列系统，它基于Advanced Message Queuing Protocol（AMQP）标准，提供高可用性、可靠性和可扩展性。本实战指南将带你深入理解RabbitMQ的核心概念、安装与...
rabbitMQ实战java版-rabbitMQ-demo.zip
11-07
《RabbitMQ实战Java版——基于rabbitMQ-demo.zip的详解》 在当今的分布式系统中，消息队列作为异步处理、解耦组件的关键技术，得到了广泛应用。RabbitMQ作为一款开源的消息代理和队列服务器，以其稳定性和易用性...
centos7.9系统rabbitmq3.8.5升级为3.8.35版本
05-07
在IT行业中，RabbitMQ是一种广泛使用的开源消息代理和队列服务器，尤其在分布式系统中，它扮演着关键角色，负责处理异步任务和消息传递。对于CentOS 7.9系统上的RabbitMQ 3.8.5版本，升级到3.8.35版本是确保系统安全...
laravel-queue-rabbitmq, 用于 Laravel 队列的RabbitMQ驱动程序.zip
10-10
laravel-queue-rabbitmq, 用于 Laravel 队列的RabbitMQ驱动程序 用于 Laravel的 RabbitMQ队列驱动程序 安装通过 Composer 安装这里软件包，使用：composer require vladimir-yuldashev/laravel-queue-
查看rabbitmq服务器消息,rabbitmqctl 服务状态查询
weixin_31748999的博客
07-31 8246
服务状态查询语句，用于询问服务，并将返回tab分隔的一组列项结果。一些查询语句(例如 list_queues, list_exchanges, list_bindings, list_consumers)接受一个可选的vhost参数。该参数(如果存在)，必须在查询之后立即指定。一、队列状态查询rabbitmqctl list_queues [-p vhost] [[--offline] | [--...
（二）laravel整合rabbitmq消息队列（使用laravel-queue-rabbitmq）
denglei的博客
01-12 4644
参考文档：https://learnku.com/docs/laravel/8.x/queues/9398 https://packagist.org/packages/vladimir-yuldashev/laravel-queue-rabbitmq 1、Composer 安装 laravel-queue-rabbitmq，安装注意应用包对应的laravel版本。 composer require vladimir-yuldashev/laravel-queue-rabbitmq 2、在 con
php5.6使用消息队列,Laravel5.6 整合 RabbitMQ 消息队列
weixin_34617955的博客
03-20 409
1、Composer安装laravel-queue-rabbitmqcomposer require vladimir-yuldashev/laravel-queue-rabbitmq2、在config/app.php文件中，providers中添加：VladimirYuldashev\LaravelQueueRabbitMQ\LaravelQueueRabbitMQServiceProvider...
Spring Boot整合RabbitMQ，监听队列获取消息
chai_ge_ge的博客
09-12 9207
Spring Boot整合RabbitMQ，监听队列获取消息 1、pom.xml添加如下依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> </...
PHP多进程之pcntl扩展的使用详解
gb4215287的博客
01-18 5119
安装1.编译php源码时加入--enable-pcntl2.在现有的环境下新增加扩展cd php-version/ext/pcntl phpize ./configure && make && make install echo "extension=pcntl.so" >> /etc/php.ini 3.Mac下用brew安装 例如我本地是php7.1.5brew install
Laravel框架安装RabbitMQ消息中间件步骤
weixin_30625691的博客
05-22 307
Laravel5.6 整合 RabbitMQ 消息队列 简介： Laravel 队列为不同的后台队列服务提供了统一的 API，例如 Beanstalk，Amazon SQS，Redis，甚至其他基于关系型数据库的队列。队列的目的是将耗时的任务延时处理，比如发送邮件，从而大幅度缩短 Web 请求和响应的时间。 队列配置文件存放在config/queue.php。每一种队列驱动的配置都可...
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
最新发布
goTsHgo的博客
09-11 976
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
RabbitMQ实战指南
"RabbitMQ Cookbook：由Sigismondo Boschi和Gabriele Santomaggio合著，该书提供了超过70个实用的食谱，旨在帮助读者利用RabbitMQ开发消息传递应用程序，通过大量现实生活中的例子进行教学。" 《RabbitMQ Cookbook...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值