实现任务队列的几种常用方法(有待补充)

本文介绍了两种实现消息队列的方法:多进程和基于Redis。在多进程实现中,通过`multiprocessing`模块创建生产者和消费者进程,利用Queue进行通信。而在Redis实现中,详细阐述了使用Celery作为异步分布式任务调度模块,结合Redis作为消息中间人,包括连接配置、启动Celery worker,并讨论了Celery的worker工作模式,如进程池和Eventlet协程池的使用。
摘要由CSDN通过智能技术生成

多进程实现消息队列

所谓消息队列,个人理解就是一个管道或者容器,用来存放生产者生产的消息,而消费者就从管道中取消息消费。这里提到的有三个对象:生产者、消费者、容器/管道/中间人,其中生产者和消费者是两个独立的进程,即它们不能相互通信(进程间不共享全局变量)。所以我们要借助一个中间人来帮我们。多进程实现消息队列原理就是创建两个子进程,让它们分别充当生产者和消费者。这里借助multiprocessing模块中的Queue和Process。

from multiprocessing import Queue, Process

def producer(q):
	 for i in range(5):
	 	q.put(i)
	 	print('put {0} in queue'.format(i))

def customer():
	while True:
		res = q.get()
		print('get {0} from queue'.format(res))

def main():
	q = Queue()
	sub_process1 = Process(target=producer, args=(q,))
	sub_process2 = Process(target=customer)
	
	sub_process1.start() 
	sub_process2.start() 
	#由于进程的执行是无序的,使用join()方法,让sub_process1结束后在执行sub_process2
	sub_process1.join()
	#终结死循环
	sub_process2.terminate()

if __name__ = 'main':
	main()

执行结果
put 1 in queue
put 2 in queue
p

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值