目录
了解RabbitMQ消息队列
RabbitMQ是一个消息代理,它接收和转发消息,可以理解为是生活的邮局。
你可以将邮件放在邮箱里,你可以确定有邮递员会发送邮件给收件人。
概括:
RabbitMQ是接收,存储,转发数据的。
官方教程:http://www.rabbitmq.com/tutorials/tutorial-one-python.html
消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。
消息队列(Message Queue)是一种应用间的通信方式,消息发送后可以立即返回,由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ 中而不用管谁来取,消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。
消息队列的应用
订单系统接收到订单后扔给消息队列,就继续干自己的事儿了,库存系统只要监听消息队列中有没有新消息,有消息就来一个处理一个。这样不仅减少了订单系统的压力,而且两个系统异步操作,效率也更高。
这种消息代理机制,常用于商城订单,抢红包,秒杀活动等等
作用: 1.可以控制活动人数,超过此一定阀值的订单直接丢弃,或者跳转错误页面。
2.可以缓解短时间的高流量压垮应用(应用程序按自己的最大处理能力获取订单)
RabbitMQ安装
abbitmq-server服务端
1.下载centos源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repo
2.下载epel源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repo
3.清空yum缓存并且生成新的yum缓存
yum clean all
yum makecache
4.安装erlang
$ yum -y install erlang
5.安装RabbitMQ
$ yum -y install rabbitmq-server
6.启动(无用户名密码):
systemctl start/stop/restart/status rabbitmq-server
7.配置用户信息:
设置rabbitmq账号密码,以及角色权限设置
# 设置新用户snoopy 密码123
sudo rabbitmqctl add_user snoopy 123
# 设置用户为administrator角色
sudo rabbitmqctl set_user_tags snoopy administrator
# 设置权限,允许对所有的队列都有权限
对何种资源具有配置、写、读的权限通过正则表达式来匹配,具体命令如下:
set_permissions [-p <vhostpath>] <user> <conf> <write> <read>
sudo rabbitmqctl set_permissions -p "/" snoopy ".*" ".*" ".*"
#重启服务生效设置
service rabbitmq-server start/stop/restart
8.查看RabbitMQ状态,包括版本号等信息:rabbitmqctl status
9.开启web界面rabbitmq
rabbitmq-plugins enable rabbitmq_management
10.访问web界面
http://server-name:15672/
RabbitMQ相关命令
// 新建用户
rabbitmqctl add_user {用户名} {密码}
// 设置权限
rabbitmqctl set_user_tags {用户名} {权限}
// 查看用户列表
rabbitmqctl list_users
// 为用户授权
添加 Virtual Hosts :
rabbitmqctl add_vhost <vhost>
// 删除用户
rabbitmqctl delete_user Username
// 修改用户的密码
rabbitmqctl change_password Username Newpassword
// 删除 Virtual Hosts :
rabbitmqctl delete_vhost <vhost>
// 添加 Users :
rabbitmqctl add_user <username> <password>
rabbitmqctl set_user_tags <username> <tag> ...
rabbitmqctl set_permissions [-p <vhost>] <user> <conf> <write> <read>
// 删除 Users :
delete_user <username>
// 使用户user1具有vhost1这个virtual host中所有资源的配置、写、读权限以便管理其中的资源
rabbitmqctl set_permissions -p vhost1 user1 '.*' '.*' '.*'
// 查看权限
rabbitmqctl list_user_permissions user1
rabbitmqctl list_permissions -p vhost1
// 清除权限
rabbitmqctl clear_permissions [-p VHostPath] User
//清空队列步骤
rabbitmqctl reset
需要提前关闭应用rabbitmqctl stop_app ,
然后再清空队列,启动应用
rabbitmqctl start_app
此时查看队列rabbitmqctl list_queues
查看所有的exchange: rabbitmqctl list_exchanges
查看所有的queue: rabbitmqctl list_queues
查看所有的用户: rabbitmqctl list_users
查看所有的绑定(exchange和queue的绑定信息): rabbitmqctl list_bindings
查看消息确认信息:
rabbitmqctl list_queues name messages_ready messages_unacknowledged
查看RabbitMQ状态,包括版本号等信息:rabbitmqctl status
#开启web界面rabbitmq
rabbitmq-plugins enable rabbitmq_management
#访问web界面
http://server-name:15672/
python客户端使用RabbitMQ
rabbitmq官方推荐的python客户端pika模块
`pip3 install pika`
生产者消费者模型
生产者:向队列里写入消息
import pika
# 创建凭证,使用rabbitmq用户密码登录
# 去邮局取邮件,必须得验证身份
credentials = pika.PlainCredentials("Username","123")
# 新建连接,这里localhost可以更换为服务器ip
# 找到这个邮局,等于连接上服务器
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.8',credentials=credentials))
# 创建频道
# 建造一个大邮箱,隶属于这家邮局的邮箱,就是个连接
channel = connection.channel()
# 声明一个队列,用于接收消息,
channel.queue_declare(queue='队列名')
# 注意在rabbitmq中,消息想要发送给队列,必须经过交换(exchange),初学可以使用空字符串交换(exchange=''),它允许我们精确的指定发送给哪个队列(routing_key=''),参数body值发送的数据
channel.basic_publish(exchange='',
routing_key='队列名',
body='消息内容')
print("已经发送了消息")
# 程序退出前,确保刷新网络缓冲以及消息发送给rabbitmq,需要关闭本次连接
connection.close()
消费者:从队列里取消息,进行相关操作
可以同时存在多个接受者,等待接收队列的消息,默认是轮训方式分配消息
接受者receive.py,可以运行多次,运行多个消费者
import pika
# 建立与rabbitmq的连接
credentials = pika.PlainCredentials("Username","123")
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.8',credentials=credentials))
channel = connection.channel()
channel.queue_declare(queue="队列名")
def callback(ch,method,properties,body):
print("消费者接收到了任务:%r"%body.decode("utf8"))
# 有消息来临,立即执行callback,没有消息则夯住,等待消息
channel.basic_consume(callback,queue="队列名",no_ack=True)
# 开始消费,接收消息
channel.start_consuming()
ack与no_ack
ack机制用于保证消费者如果拿了队列的消息,客户端
处理时出错了,那么队列中仍然还存在这个消息,提供下一位消费者继续取
no_ack机制
是每次消费者接收到数据后,不管是否处理完毕,rabbitmq-server都会把这个消息标记完成,从队列中删除
两种机制的代码是一样的,只需要修改一个参数
channel.basic_consume(callback,queue="队列名",no_ack=True)
# 这里的no_ack=True,表示使用no_ack机制
# 改为 no_ack=False,表示使用ack机制
消息持久化
消息的可靠性是RabbitMQ的一大特色,那么RabbitMQ是如何保证消息可靠性的呢——消息持久化。 为了保证RabbitMQ在退出或者crash等异常情况下数据没有丢失,需要将queue,exchange和Message都持久化。
默认队列不支持持久化,如果服务挂掉,数据就会丢失。
实现持久化两部曲:
1.创建队列的时候使用durable=True 开启持久化,声明queue是持久化
2.basic-publish的时候通过delivery_mode=2,实现实现数据持久化
生产者:
import pika
# 无密码
# connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.8'))
# 有密码
credentials = pika.PlainCredentials("Username","123")
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.8',credentials=credentials))
channel = connection.channel()
# 声明一个队列(创建一个队列)
channel.queue_declare(queue='队列名',durable=True)
channel.basic_publish(exchange='',
routing_key='队列名', # 消息队列名称
body='消息内容',
# 支持数据持久化
properties=pika.BasicProperties(
delivery_mode=2,#代表消息是持久的 2
)
)
connection.close()
消费者:
import pika
credentials = pika.PlainCredentials("Username","123")
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.8',credentials=credentials))
channel = connection.channel()
# 确保队列持久化
channel.queue_declare(queue='队列名',durable=True)
def callback(ch, method, properties, body):
print("消费者接受到了任务: %r" % body.decode("utf-8"))
# 模拟代码报错
# int('asdfasdf') # 此处报错,没有给予回复,保证客户端挂掉,数据不丢失
# 告诉服务端,我已经取走了数据,否则数据一直存在
ch.basic_ack(delivery_tag=method.delivery_tag)
# 关闭no_ack,代表给与回复确认
# 必须确保给与服务端消息回复,代表我已经消费了数据,否则数据一直持久化,不会消失
channel.basic_consume(callback,queue='LOL',no_ack=False)
channel.start_consuming()