消息队列之RabbitMQ

目录

了解RabbitMQ消息队列

消息队列的应用

         RabbitMQ安装

RabbitMQ相关命令

python客户端使用RabbitMQ

消息持久化


了解RabbitMQ消息队列


RabbitMQ是一个消息代理,它接收和转发消息,可以理解为是生活的邮局。
你可以将邮件放在邮箱里,你可以确定有邮递员会发送邮件给收件人。
概括:
RabbitMQ是接收,存储,转发数据的。
官方教程:http://www.rabbitmq.com/tutorials/tutorial-one-python.html

消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。

消息队列(Message Queue)是一种应用间的通信方式,消息发送后可以立即返回,由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ 中而不用管谁来取,消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。

消息队列的应用

订单系统接收到订单后扔给消息队列,就继续干自己的事儿了,库存系统只要监听消息队列中有没有新消息,有消息就来一个处理一个。这样不仅减少了订单系统的压力,而且两个系统异步操作,效率也更高。

这种消息代理机制,常用于商城订单,抢红包,秒杀活动等等

作用: 1.可以控制活动人数,超过此一定阀值的订单直接丢弃,或者跳转错误页面。

2.可以缓解短时间的高流量压垮应用(应用程序按自己的最大处理能力获取订单)

RabbitMQ安装

abbitmq-server服务端

1.下载centos源
wget -O /etc/yum.repos.d/CentOS-Base.repo   http://mirrors.cloud.tencent.com/repo/centos7_base.repo
2.下载epel源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repo
3.清空yum缓存并且生成新的yum缓存
yum clean all
yum makecache
4.安装erlang
   $ yum -y install erlang
5.安装RabbitMQ
   $ yum -y install rabbitmq-server
6.启动(无用户名密码):
    systemctl start/stop/restart/status rabbitmq-server

7.配置用户信息​:

设置rabbitmq账号密码,以及角色权限设置

# 设置新用户snoopy 密码123
sudo rabbitmqctl add_user snoopy 123
​
# 设置用户为administrator角色
sudo rabbitmqctl set_user_tags snoopy administrator
​
# 设置权限,允许对所有的队列都有权限
对何种资源具有配置、写、读的权限通过正则表达式来匹配,具体命令如下:
set_permissions [-p <vhostpath>] <user> <conf> <write> <read>

sudo rabbitmqctl set_permissions -p "/" snoopy ".*" ".*" ".*"
​
#重启服务生效设置
service rabbitmq-server start/stop/restart

8.查看RabbitMQ状态,包括版本号等信息:rabbitmqctl status

9.开启web界面rabbitmq
rabbitmq-plugins enable rabbitmq_management

10.访问web界面
http://server-name:15672/

 

RabbitMQ相关命令

// 新建用户
rabbitmqctl add_user {用户名} {密码}
​
// 设置权限
rabbitmqctl set_user_tags {用户名} {权限}
​
// 查看用户列表
rabbitmqctl list_users
​
// 为用户授权
添加 Virtual Hosts :    
rabbitmqctl add_vhost <vhost>    
​
// 删除用户
rabbitmqctl delete_user Username
​
// 修改用户的密码
rabbitmqctl change_password Username Newpassword
    
// 删除 Virtual Hosts :    
rabbitmqctl delete_vhost <vhost>    
    
// 添加 Users :    
rabbitmqctl add_user <username> <password>    
rabbitmqctl set_user_tags <username> <tag> ...    
rabbitmqctl set_permissions [-p <vhost>] <user> <conf> <write> <read>    
    
// 删除 Users :    
delete_user <username>   
​
// 使用户user1具有vhost1这个virtual host中所有资源的配置、写、读权限以便管理其中的资源
rabbitmqctl  set_permissions -p vhost1 user1 '.*' '.*' '.*' 
​
// 查看权限
rabbitmqctl list_user_permissions user1
​
rabbitmqctl list_permissions -p vhost1
​
// 清除权限
rabbitmqctl clear_permissions [-p VHostPath] User
​
//清空队列步骤
rabbitmqctl reset 
需要提前关闭应用rabbitmqctl stop_app ,
然后再清空队列,启动应用
rabbitmqctl start_app
此时查看队列rabbitmqctl list_queues
​
查看所有的exchange:                              rabbitmqctl list_exchanges
查看所有的queue:                                 rabbitmqctl list_queues
查看所有的用户:                                   rabbitmqctl list_users
查看所有的绑定(exchange和queue的绑定信息):         rabbitmqctl list_bindings
查看消息确认信息:
rabbitmqctl list_queues name messages_ready messages_unacknowledged
查看RabbitMQ状态,包括版本号等信息:rabbitmqctl status

#开启web界面rabbitmq
rabbitmq-plugins enable rabbitmq_management

#访问web界面
http://server-name:15672/

python客户端使用RabbitMQ

rabbitmq官方推荐的python客户端pika模块
    `pip3 install pika`

生产者消费者模型

生产者:向队列里写入消息

import pika
# 创建凭证,使用rabbitmq用户密码登录
# 去邮局取邮件,必须得验证身份
credentials = pika.PlainCredentials("Username","123")
# 新建连接,这里localhost可以更换为服务器ip
# 找到这个邮局,等于连接上服务器
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.8',credentials=credentials))
# 创建频道
# 建造一个大邮箱,隶属于这家邮局的邮箱,就是个连接
channel = connection.channel()
# 声明一个队列,用于接收消息,
channel.queue_declare(queue='队列名')
# 注意在rabbitmq中,消息想要发送给队列,必须经过交换(exchange),初学可以使用空字符串交换(exchange=''),它允许我们精确的指定发送给哪个队列(routing_key=''),参数body值发送的数据
channel.basic_publish(exchange='',
                      routing_key='队列名',
                      body='消息内容')
print("已经发送了消息")
# 程序退出前,确保刷新网络缓冲以及消息发送给rabbitmq,需要关闭本次连接
connection.close()

消费者:从队列里取消息,进行相关操作

可以同时存在多个接受者,等待接收队列的消息,默认是轮训方式分配消息

接受者receive.py,可以运行多次,运行多个消费者

import pika
# 建立与rabbitmq的连接
credentials = pika.PlainCredentials("Username","123")
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.8',credentials=credentials))
channel = connection.channel()
channel.queue_declare(queue="队列名")

def callback(ch,method,properties,body):
    print("消费者接收到了任务:%r"%body.decode("utf8"))
# 有消息来临,立即执行callback,没有消息则夯住,等待消息
channel.basic_consume(callback,queue="队列名",no_ack=True)
# 开始消费,接收消息
channel.start_consuming()

ack与no_ack

ack机制用于保证消费者如果拿了队列的消息,客户端处理时出错了,那么队列中仍然还存在这个消息,提供下一位消费者继续取

no_ack机制是每次消费者接收到数据后,不管是否处理完毕,rabbitmq-server都会把这个消息标记完成,从队列中删除

两种机制的代码是一样的,只需要修改一个参数

channel.basic_consume(callback,queue="队列名",no_ack=True)
# 这里的no_ack=True,表示使用no_ack机制
# 改为 no_ack=False,表示使用ack机制

消息持久化

消息的可靠性是RabbitMQ的一大特色,那么RabbitMQ是如何保证消息可靠性的呢——消息持久化。 为了保证RabbitMQ在退出或者crash等异常情况下数据没有丢失,需要将queue,exchange和Message都持久化。

 默认队列不支持持久化,如果服务挂掉,数据就会丢失。

实现持久化两部曲:

   1.创建队列的时候使用durable=True 开启持久化,声明queue是持久化
   2.basic-publish的时候通过delivery_mode=2,实现实现数据持久化
 

生产者:

import pika
# 无密码
# connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.8'))
# 有密码
credentials = pika.PlainCredentials("Username","123")
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.8',credentials=credentials))
channel = connection.channel()
# 声明一个队列(创建一个队列)
channel.queue_declare(queue='队列名',durable=True)
channel.basic_publish(exchange='',
                      routing_key='队列名', # 消息队列名称
                      body='消息内容',
                      # 支持数据持久化
                      properties=pika.BasicProperties(
                          delivery_mode=2,#代表消息是持久的  2
                      )
                      )
connection.close()

消费者:

import pika
credentials = pika.PlainCredentials("Username","123")
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.8',credentials=credentials))
channel = connection.channel()
# 确保队列持久化
channel.queue_declare(queue='队列名',durable=True)

def callback(ch, method, properties, body):
    print("消费者接受到了任务: %r" % body.decode("utf-8"))
    # 模拟代码报错
    # int('asdfasdf')    # 此处报错,没有给予回复,保证客户端挂掉,数据不丢失
   
    # 告诉服务端,我已经取走了数据,否则数据一直存在
    ch.basic_ack(delivery_tag=method.delivery_tag)
# 关闭no_ack,代表给与回复确认
# 必须确保给与服务端消息回复,代表我已经消费了数据,否则数据一直持久化,不会消失
channel.basic_consume(callback,queue='LOL',no_ack=False)
channel.start_consuming()

 

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值