Django 3.0.1 + celery 4.4.2 + redis 部署

一、背景

（1）Celery 4.0要求Django1.8或者比1.8 更新的版本，如果Django低于1.8版本，请使用Celery 3.1版本。

（2）俺是个小气的人，免费听哔哩上几年前的Django教程视频。让安装三个包：celery、celery-with-redis、django-celery。依次安装，发现celery-with-redis、django-celery支持的celery版本最高到4.0。也就是最新版本的Celery已经实现了 celery-with-redis、django-celery包的功能，不在需要安装这两个包。

ERROR: django-celery 3.3.1 has requirement celery<4.0,>=3.1.15, but you'll have celery 4.1.1 which is incompatible.
ERROR: celery-with-redis 3.0 has requirement celery<4.0,>=3.0, but you'll have celery 4.1.1 which is incompatible.

二、部署步骤

（1）自建的Django项目目录结构如下。 proj为项目名称。

- proj/
  - manage.py
  - proj/
    - __init__.py
    - settings.py
    - urls.py
  - app1
    - __init__.py
    - admin.py
    - app1.py
    - models.py
    - tests.py  
    - urls.py
    - views.py

    

（2）在proj/proj/目录下建立celery.py。 proj需要更改成自己项目名字。

from __future__ import absolute_import, unicode_literals

import os

from celery import Celery

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')

app = Celery('proj')

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()


@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

上面内容解释：

1.  from __future__ import absolute_import 保证celry.py不和library冲突

2. os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings') 为Celery命令设置默认的环境变量。当执行Celery命令时，会自动使用指定的settings作为配置文件，而不必每次执行时都要指定配置文件。

3. app = Celery('proj') 生成Celery实例，对于Django，只需要一个
   

4. app.config_from_object('django.conf:settings', namespace='CELERY') 设置Django项目的settings作为Celery的一部分配置文件。这样你就可以直接将Celery的配置项配置在Django项目的settings文件中，而不必为Celery单独写一个配置文件。但是Celery支持单独定义配置文件。
   

5. namespace='CELERY' ：Django的settings配置文件中，Celery的配置项都以大写的CELERY_开头。当然此项可以不指定，但是为了防止和Django配置项混淆，建议指定。

6. app.autodiscover_tasks() 最佳项目实践是将不同app的task放在不同的task.py模块中。自动加载经过注册的app根目录下的task。app的根目录如下：。这样就不需要配置CELERY_IMPORTS来指定每个app具体task.py路径。
    

- app1/
    - tasks.py
    - models.py
- app2/
    - tasks.py
    - models.py

（3）在proj/proj/__init__.py文件中导入Celery app

from __future__ import absolute_import, unicode_literals

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ('celery_app',)

（4）在proj的settings.py中添加配置项

# root为随意的一个名字
CELERY_BROKER_URL = 'redis://root:password@127.0.0.1:6379/0'

（5）编写task代码

# Create your tasks here
from __future__ import absolute_import, unicode_literals

from celery import shared_task
# 自己建立的模型类
from demoapp.models import Widget


@shared_task
def add(x, y):
    return x + y


@shared_task
def mul(x, y):
    return x * y


@shared_task
def xsum(numbers):
    return sum(numbers)

import time

@shared_task
def count_widgets():
    time.sleep(5)
    return Widget.objects.count()


@shared_task
def rename_widget(widget_id, name):
    w = Widget.objects.get(id=widget_id)
    w.name = name
    w.save()

（6）打开两个命令行窗口。一个运行Celery命令启动Worker，另一个窗口运行Django项目。

# 启动celery。windows系统需要 -P参数。 eventlet需要单独pip install
celery -A demo worker -l info -P eventlet

# 启动Django项目. 项目根目录下
python manage.py runserver

（7）views视图函数中使用启动task任务。 当访问此视图函数时，会立即返回celery.html页面，任务会被提交到celery去异步执行。

from .task import count_widgets
def celery(req):

    res = count_widgets.delay()
   # print(res.get())
    return render(req, 'app1/celery.html')

三、碰到问题

（1）版本问题 只需要安装Celery一个包即可

（2）错误：Celery ValueError: not enough values to unpack (expected 3, got 0)

解决方法：

第一步： pip install eventlet 

第二步：运行celery命令时增加P参数。
    celery -A proj worker -l info -P eventlet

参数说明：

1.  -A, --app 使用到的项目名
2.  -P, --pool Celery使用的实现池。可以有 prefork (default), eventlet, gevent, threads ，solo.
3.  -l, --loglevel 日志级别，可以有 DEBUG, INFO, WARNING, ERROR, CRITICAL,FATAL.

 

（2）错误：DatabaseError: DatabaseWrapper objects created in a thread can only be used in that same thread. The object with alias 'default' was created in thread id 140107533682432 and this is thread id 65391024.

解决办法：

    在Pycharm全文搜索（连按shift两次快捷键），搜索monkey_patch() 函数，其为eventlet源码函数，对其进行修改

def monkey_patch(on={"thread":False}):

问题原因：     

      经过分析django的db模块的代码，发现进行数据库操作关闭时，会对创建这个连接进行验证是否是同 一个thread进行操作，如果不是一个操作，就会报错。

     经过排查eventlet的monkey_patch(),发现eventlet在提供绿色协程时，为了性能提升，竟然强悍的部分原生模块（os、socket、thread）进行了修改，并且通过monkey_patch的方式进行替换了。这里受影响的就是eventlet 对原生的thread 进行了补丁操作，对thread的获取线程id的方法get_ident()进行了重写。

def get_ident(gr=None):
    if gr is None:
        return id(greenlet.getcurrent())
    else:
        return id(gr)

     这样，就会引起，之前thread.get_ident() 和monkey_patch 后的thread.get_ident() 获取的值不同，monkey_patch() 后获取的是线程中绿色协程的id。

    想要解决这个问题，可以在monkey_patch() 时，不对thread进行打补丁，monkey_patch((on={"thread":False}),就可以解决。不过，这样不知道会不会影响到eventlet提供的写成并发能力。如果有大牛，可以做进一步补充。

（4）参考资料

官网资料

1. http://docs.celeryproject.org/en/latest/index.html

别人资料

1. https://blog.csdn.net/u014007037/article/details/86645862