pipeline操作Redis数据库+Celery的使用

Redis的 C - S 架构：

• 基于客户端-服务端模型以及请求/响应协议的TCP服务。
• 客户端向服务端发送一个查询请求，并监听Socket返回。
• 通常是以阻塞模式，等待服务端响应。
• 服务端处理命令，并将结果返回给客户端。

存在的问题：

• 如果Redis服务端需要同时处理多个请求，加上网络延迟，那么服务端利用率不高，效率降低。

解决的办法：

• 管道pipeline

 

管道pipeline

• 可以一次性发送多条命令并在执行完后一次性将结果返回。
• pipeline通过减少客户端与Redis的通信次数来实现降低往返延时时间。

实现的原理

• 实现的原理是队列。
• Client可以将三个命令放到一个tcp报文一起发送。
• Server则可以将三条命令的处理结果放到一个tcp报文返回。
• 队列是先进先出，这样就保证数据的顺序性。

Celery介绍：

• 一个简单、灵活且可靠、处理大量消息的分布式系统，可以在一台或者多台机器上运行。
• 单个 Celery 进程每分钟可处理数以百万计的任务。
• 通过消息进行通信，使用消息队列（broker）在客户端和消费者之间进行协调。

1.注册任务：celery_tasks.main.py

# Celery的入口
from celery import Celery

# 创建Celery实例
# 'xxxx'参数只是一个名字，用来标识Celery实例
cele