python celery异步_python使用celery实现异步任务执行

使用celery在django项目中实现异步发送短信

在项目的目录下创建celery_tasks用于保存celery异步任务。

在celery_tasks目录下创建config.py文件，用于保存celery的配置信息

```broker_url = "redis://127.0.0.1/14"```

在celery_tasks目录下创建main.py文件，用于作为celery的启动文件

from celery importCelery#为celery使用django配置文件进行设置

importosif not os.getenv('DJANGO_SETTINGS_MODULE'):

os.environ['DJANGO_SETTINGS_MODULE'] = 'model.settings.dev'

#创建celery应用

app= Celery('model')#导入celery配置

app.config_from_object('celery_tasks.config')#自动注册celery任务

app.autodiscover_tasks(['celery_tasks.sms'])

在celery_tasks目录下创建sms目录，用于放置发送短信的异步任务相关代码。

将提供的发送短信的云通讯SDK放到celery_tasks/sms/目录下。

在celery_tasks/sms/目录下创建tasks.py(这个名字是固定的，非常重要，系统将会自动从这个文件中找任务队列)文件，用于保存发送短信的异步任务

importloggingfrom celery_tasks.main importappfrom .yuntongxun.sms importCCP

logger= logging.getLogger("django")#验证码短信模板

SMS_CODE_TEMP_ID = 1@app.task(name='send_sms_code')defsend_sms_code(mobile, code, expires):

发送短信验证码

:param mobile: 手机号

:param code: 验证码

:param expires: 有效期

:return: Nonetry:

ccp=CCP()

result=ccp.send_template_sms(mobile, [code, expires], SMS_CODE_TEMP_ID)exceptException as e:

logger.error("发送验证码短信[异常][ mobile: %s, message: %s ]" %(mobile, e))else:if result ==0:

logger.info("发送验证码短信[正常][ mobile: %s ]" %mobile)else:

logger.warning("发送验证码短信[失败][ mobile: %s ]" % mobile)

在verifications/views.py中改写SMSCodeView视图，使用celery异步任务发送短信

from celery_tasks.sms importtasks as sms_tasksclassSMSCodeView(GenericAPIView):

...#发送短信验证码 这是将时间转化为分钟，constants.SMS_CODE_REDIS_EXPIRES 是常量

sms_code_expires = str(constants.SMS_CODE_REDIS_EXPIRES // 60)

sms_tasks.send_sms_code.delay(mobile, sms_code, sms_code_expires)return Response({"message": "OK"})

在django中使用celery的定时调度任务，执行讲redis的缓存内容定时同步到mysql数据库

1、首先，在config文件中配置调度

from celery.schedules importcrontabfrom .main importapp#任务队列的链接地址

broker_url = 'redis://test.zhuzhaoxia.com:6379/15'

#结果队列的链接地址

result_backend = 'redis://test.zhuzhaoxia.com:6379/14'

#定时任务的调度列表，用于注册定时任务

app.conf.beat_schedule ={'write_article_to_mysql': {#本次定时调度的任务

'task': 'write_article', #这里的任务名称必须先到main.py中注册

#定时任务的调度周期

#'schedule': 60, # 每120秒执行

'schedule': crontab(hour=3), #每天凌晨3点

#'args': (16, 16), # 注意：任务就是一个函数，所以如果有参数则需要传递

},

}

2、在main.py中引入tasks文件

#app.autodiscover_tasks(["任务1","任务2"])

app.autodiscover_tasks(["mycelery.sms","mycelery.mail", "mycelery.article"])

3、在tasks.py文件中写入任务：

from mycelery.main importappfrom artical.models importArticlefrom django_redis importget_redis_connectionfrom datetime importdatetime

@app.task(name="write_article")defwrite_article():"""把redis的缓存文章定时写入到mysql中"""redis_conn= get_redis_connection("article")

history_list= redis_conn.keys("article_history_*")for user_history_list_bytes inhistory_list:

user_history_list=user_history_list_bytes.decode()

user_id= int( user_history_list.split("_")[-1] )

artical_list= redis_conn.hgetall(user_history_list) #获取到用户的历史记录的最新文章和save_id

for artical_id_bytes, save_id_bytes inartical_list.items():

artical_id=artical_id_bytes.decode()

save_id=save_id_bytes.decode()

article_dict= redis_conn.hgetall("article_%s_%s_%s" % (user_id, artical_id, save_id)) #获取到最新的文章保存信息

try:

article= Article.objects.get(pk=artical_id)

article.title= article_dict["title".encode()].decode()

article.content= article_dict["content".encode()].decode()

article.save_id=save_id

timestamp= datetime.fromtimestamp(int(float(article_dict["update_time".encode()].decode())))

article.updated_time=timestamp

article.save()exceptArticle.DoesNotExist:pass

4、启动beat调度节点

celery beta -A mycelery.main --loglevel=info

5、重启异步调度节点

celery -A mycelery.main worker --loglevel=info