解决django-celery-beat提示数据库配置错误，不支持多数据库的问题

最新推荐文章于 2023-06-02 16:33:43 发布
最新推荐文章于 2023-06-02 16:33:43 发布
阅读量974 收藏
点赞数 1
分类专栏： Django 文章标签： django celery 数据库 beat celery-beat
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36274515/article/details/121123611
版权

1. 问题复现

在某天写完一个 celery 定时任务时，启动 celery 后正准备启动 celery-beat，突然发现弹出大量警告然后退出了进程，往上翻果然发现报错

celery beat v5.1.2 (sun-harmonics) is starting.
[2021-11-01 18:32:11,917: INFO/MainProcess] beat: Starting...
[2021-11-01 18:32:12,071: CRITICAL/MainProcess] beat raised exception <class 'django.core.exceptions.ImproperlyConfigured'>: ImproperlyConfigured('settings.DATABASES is improperly configured. Please supply the ENGINE value. Check settings documentation for more details.')
Traceback (most recent call last):
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/celery/apps/beat.py", line 105, in start_scheduler
    service.start()
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/celery/beat.py", line 636, in start
    humanize_seconds(self.scheduler.max_interval))
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/kombu/utils/objects.py", line 29, in __get__
    return super().__get__(instance, owner)
  File "/Users/systemime/.pyenv/versions/3.9.6/lib/python3.9/functools.py", line 969, in __get__
    val = self.func(instance)
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/celery/beat.py", line 680, in scheduler
    return self.get_scheduler()
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/celery/beat.py", line 671, in get_scheduler
    return symbol_by_name(self.scheduler_cls, aliases=aliases)(
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django_celery_beat/schedulers.py", line 231, in __init__
    Scheduler.__init__(self, *args, **kwargs)
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/celery/beat.py", line 271, in __init__
    self.setup_schedule()
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django_celery_beat/schedulers.py", line 239, in setup_schedule
    self.install_default_entries(self.schedule)
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django_celery_beat/schedulers.py", line 340, in install_default_entries
    self.update_from_dict(entries)
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django_celery_beat/schedulers.py", line 328, in update_from_dict
    self.schedule.update(s)
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django_celery_beat/schedulers.py", line 355, in schedule
    elif self.schedule_changed():
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django_celery_beat/schedulers.py", line 261, in schedule_changed
    transaction.commit()
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django/db/transaction.py", line 35, in commit
    get_connection(using).commit()
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django/utils/asyncio.py", line 26, in inner
    return func(*args, **kwargs)
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django/db/backends/base/base.py", line 266, in commit
    self._commit()
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django/db/backends/dummy/base.py", line 20, in complain
    raise ImproperlyConfigured("settings.DATABASES is improperly configured. "
django.core.exceptions.ImproperlyConfigured: settings.DATABASES is improperly configured. Please supply the ENGINE value. Check settings documentation for more details.

emmmmmm??，看最后一句报错提示，居然说我 Django 的数据库配置不对？我好奇心检查了一下我的数据库配置同时又写了几个 ORM 测试，并没有发现问题，于是决定跟踪一下报错流程

2. 问题定位

从上面的报错信息中，我们可以看到主要从定时任务的类启动开始

File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/celery/beat.py", line 271, in __init__
    self.setup_schedule()

到获取 django 数据库连接开始报错

File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django/db/transaction.py", line 35, in commit
    get_connection(using).commit()
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django/utils/asyncio.py", line 26, in inner
    return func(*args, **kwargs)
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django/db/backends/base/base.py", line 266, in commit
    self._commit()
  File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django/db/backends/dummy/base.py", line 20, in complain
    raise ImproperlyConfigured("settings.DATABASES is improperly configured. "

看到获取链接时的 using，我突然意识到我的 Django 项目配置的多数据库，而 Django 提供的 using 参数是指定当前使用的数据库，如果不指定，将通过配置的数据库路由或者读取默认数据库配置

那么再往上看，获取链接之前

File "/Users/systemime/.pyenv/versions/3.9.6/envs/vps-django/lib/python3.9/site-packages/django_celery_beat/schedulers.py", line 261, in schedule_changed
    transaction.commit()

django-celery-beat 进行了一次事物提交，但是没有指定数据库，难道在获取数据库链接时，不会通过数据库路由去获取对应数据库链接吗？

抱着好奇我查看了 get_connection(using).commit() 的源码

def commit(using=None):
    """Commit a transaction."""
    get_connection(using).commit()

进一步查看 get_connection 方法的源码

DEFAULT_DB_ALIAS = 'default'

...

def get_connection(using=None):
    """
    Get a database connection by name, or the default database connection
    if no name is provided. This is a private API.
    """
    if using is None:
        using = DEFAULT_DB_ALIAS
    return connections[using]

至此破案，django-celery-beat 没有传入必要 using 参数，导致 Django 将会去获取默认数据库链接，而 Django 在配置多数据库时，默认数据库配置 default 为空，所以 django-celery-beat 其实并不支持多数据库

3. 解决方案

我们在配置完多数据库后，一般需要我们定义数据库路由（否则还是会获取 default 配置），Django 获取到路由后在后续 ORM 操作中都会自动去使用我们定义的路由匹配当前操作对应的数据库

所以，这里我们需要先获取到 django-celery-beat 在我们定义的数据库路由中对应哪个数据库

我们先在源码中尝试修改引起报错的地方

"""
django_celery_beat/schedulers.py
"""
from django.db import router, DEFAULT_DB_ALIAS
......  # 其他源码

class DatabaseScheduler(Scheduler):
    ......

    # 添加以下内容
    @property
    def target_db(self):
        """Determine if there is a django route"""
        # 先检查是否配置了django 数据库路由
        if not settings.DATABASE_ROUTERS:
            return DEFAULT_DB_ALIAS
        # If the project does not actually implement this method, DEFAULT_DB_ALIAS will be automatically returned.
        # The exception will be located to the django routing section
        # 如果有路由，则通过调用路由的db_for_write方法获取对应数据库
        # self.Model是django-celery-beat的模型
        db = router.db_for_write(self.Model)
        return db
  
    def schedule_changed(self):
        try:
            ......
            try:
                transaction.commit(using=self.target_db)
            except transaction.TransactionManagementError:
                pass  # not in transaction management.
        except DatabaseError as exc:
            ......

注意 ⚠️：

  • 如果你的数据库路由并没有实现 db_for_write 方法，Django 将返回 DATABASES 中 default 的配置，所以 db_for_write 必须实现，且必须能为 django-celery-beat 的模型匹配到正确的数据库
  • 记得在 INSTALLED_APPS 中导入 django-celery-beat 同时执行迁移

再次启动 celery-beat

❯ celery -A skill_test.app beat -l INFO                                                                                                                                                             1 ↵ systemime@bogon
celery beat v5.1.2 (sun-harmonics) is starting.
__    -    ... __   -        _
LocalTime -> 2021-11-03 15:24:59
Configuration ->
    . broker -> redis://localhost:6379//
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> django_celery_beat.schedulers.DatabaseScheduler

    . logfile -> [stderr]@%INFO
    . maxinterval -> 5.00 seconds (5s)
[2021-11-03 15:24:59,065: INFO/MainProcess] beat: Starting...
[2021-11-03 15:24:59,234: INFO/MainProcess] DatabaseScheduler: Schedule changed.
[2021-11-03 15:25:00,014: INFO/MainProcess] Scheduler: Sending due task xxx (apps.xxx.tasks.xxx)

启动成功，但是我们一般不推荐改变源码，在使用 celery-beat 时，还记得需要配置 CELERY_BEAT_SCHEDULER 吗，我们可以通过重载的方式支持数据库路由

默认配置为

CELERY_BEAT_SCHEDULER = 'django_celery_beat.schedulers:DatabaseScheduler'

重载这个 DatabaseScheduler

from django_celery_beat.schedulers import DatabaseScheduler
from django.db import transaction, router
from functools import partial


class SQDatabaseSchedule(DatabaseScheduler):

    def sync(self):
        with transaction.atomic(using=router.db_for_write(self.Model)):
            super(SQDatabaseSchedule, self).sync()

    def schedule_changed(self):
        db = router.db_for_write(self.Model)
        transaction.commit = partial(transaction.commit, using=db)
        super(SQDatabaseSchedule, self).schedule_changed()

修改配置

CELERY_BEAT_SCHEDULER = 'you_project.you_project_path:DatabaseScheduler'

再次启动尝试

❯ celery -A skill_test.app beat -l INFO                                                                                                                                                             1 ↵ systemime@bogon
celery beat v5.1.2 (sun-harmonics) is starting.
__    -    ... __   -        _
LocalTime -> 2021-11-03 15:26:59
Configuration ->
    . broker -> redis://localhost:6379//
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> django_celery_beat.schedulers.DatabaseScheduler

    . logfile -> [stderr]@%INFO
    . maxinterval -> 5.00 seconds (5s)
[2021-11-03 15:26:59,065: INFO/MainProcess] beat: Starting...
[2021-11-03 15:26:59,234: INFO/MainProcess] DatabaseScheduler: Schedule changed.
[2021-11-03 15:26:00,014: INFO/MainProcess] Scheduler: Sending due task xxx (apps.xxx.tasks.xxx)

启动成功，大功告成

山笑i
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
celery使用eventlet模式task中操作django的orm报错解决
lymmurrain的博客
09-18 1196
celery使用eventlet模式task中操作django的orm报错解决 若celery使用eventlet模式task中操作django的orm会出现报错如下 django.db.utils.DatabaseError: DatabaseWrapper objects created in a thread can only be used in that same thread. 结论与解决方法 结论 原因是eventlet对thread的获取线程id的方法get_ident()进行了重写，导
Django-celery-beat动态添加周期性任务实现过程解析
01-19
pip3 install django-celery-beat 2.注册APP INSTALLED_APPS = [ …. ‘django_celery_beat’, ] 3.数据库变更 python3 manage.py migrate django_celery_beat 配置工作 目录结构请参考：//...
django-celery-beat：Django ORM支持的芹菜定期任务
02-05
django-celery-beat：Django ORM支持的芹菜定期任务
详解django+django-celery+celery的整合实战
09-19
主要介绍了详解django+django-celery+celery的整合实战，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
django-celery-beat, Django ORM支持的celery 周期任务.zip
09-17
django-celery-beat, Django ORM支持的celery 周期任务 数据库后台任务 版本：站点：下载：关键字：关键字：1.1.1http://django-celery-beat.readthedocs.io/http://pypi.python.org/pypi
django-celery-transactions:Django对Celery任务的事务支持
05-02
django-celery-transactions django-celery-transactions保留Celery任务，直到提交了当前数据库事务为止，避免了Celery 所述的潜在竞争情况。 从信号处理程序发送任务，不用担心！ 特征 如果回滚事务，则将丢弃任务。 如果引发异常，则Django的事务中间件将执行此操作。 如果不管理事务，则正常发送任务。 这意味着从Django的外壳中发送任务将按预期工作，各种事务装饰器commit_manually ， commit_on_success等也将正常工作。 安装及使用 从PyPI安装django-celery-transactions： $ pip install django-celery-transactions 使用修补的装饰器创建任务： from djcelery_transactions import task fr
Django中使用celery实现定时任务和异步任务
fresh_nam的博客
06-02 3164
Django使用celery实现定时任务和异步任务
【celery】使用django-celery-beat报错
苦苦思索的吃瓜群众博客
03-10 391
django-celery-beat
celery beat raised exception <class '_dbm.error'>: error('cannot add item to database',）错误解决方法
DHogan的博客
04-11 2299
在一次重启python中的celery-beat任务中，发现celery-beat启动不起来了。报错信息如下： celery beat v4.1.0 (latentcall) is starting. __ - ... __ - _ LocalTime -> 2018-04-11 15:04:12 Configuration -> . broker -> r
Django Celerybeat日志报错处理（'NoneType' object has no attribute 'is_due'）
weixin_30814329的博客
04-26 1001
分析原因 按照以上意思，Django celerybeat在加载任务的时候遇见任务中有无法指定执行时间的任务，表示为NoneType类型。 错误code如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 ...
django中django-celery实现定时任务
徳
09-03 978
在网站开发的过程中我们经常会遇到一些异步任务的需求，有些异步任务是实时的，有些则是需要定时完成，我写过一篇django中使用celery编写异步发送邮件的博文https://blog.csdn.net/weixin_44951273/article/details/100107526，这次使用django-celery编写定时任务，需要用到的第三方库：pip install django-cele...
Django-celery使用过程中错误以及解决方法汇总
xiaoduu的博客
08-03 360
https://blog.csdn.net/cn_1937/article/details/91992075
Celery笔记八之数据库操作定时任务
weixin_43354181的博客
09-12 1414
其中 django_celery_beat_clockedschedule 和 django_celery_beat_solarschedule 暂时不介绍执行 celery 的 beat 后，会在该表新增一条数据，表的字段就是我们设置的 crontab() 里的值，包括 minute，hour，day_of_week，day_off_month，month_of_year 和 timezone。
解决(“settings.DATABASES is improperly configured. “django.core.exceptions.Im
crowsfeather1的博客
12-28 4825
django 连接mysql ，在terminal输入python manage.py migrate的时候报错 raise ImproperlyConfigured("settings.DATABASES is improperly configured. " django.core.exceptions.ImproperlyConfigured: settings.DATABASES is improperly configured. Please supply the ENGINE value.
Bug及解决
weixin_44638005的博客
03-09 473
复盘数据库迁移时的报错
django-celery-beat的使用
Code小学僧的课后笔记
07-13 7571
一、安装与配置 使用pip安装包： $ pip install django-celery-beat 将django_celery_beat模块添加到INSTALLED_APPSDjango项目中settings.py： #jdango时区配置 # 官方用来修复CELERY_ENABLE_UTC=False and USE_TZ = False 时时间比较错误的问题； # 详情见：https://github.com/celery/django-celery-beat/pull/216/file
django报错：1054, “Unknown column ‘xxx‘ in ‘field list‘
m0_47812755的博客
08-19 3905
django报错：1054, "Unknown column ‘xxx’ in ‘field list’ 出现这种状况，大概率是mysql没清理干净。字段干扰造成的。 解决办法：在mysql中清理掉相应模型的app，之后重新迁移文件。 因为mysql我用的不太熟练，所以我采用的是第二种方法。 执行django命令清除： python manage.py migrate app_name zero 希望对大家有用。 ...
celery源码分析-定时任务
qq_33339479的博客
07-12 2150
celery源码分析 本文环境python3.5.2，celery4.0.2，django1.10.x系列 celery的定时任务与Django配置 celery也可以执行定时任务来执行相关操作，celery与django的配置方法如下， 1.在celery_app.tasks中添加如下任务 @shared_task def beat_task(): print("beat...
Django2.2报错——AttributeError: ''str'' object has no attribute ''decode''
热门推荐
qq_36274515的博客
04-05 1万+
方法说明 Django2.2报错–AttributeError: ‘str’ object has no attribute 'decode’的解决方案，仅算是临时解决，所有更好的解决方案应该斟酌使用本方法 报错信息 G:\book_pulisher>python manage.py runserver Watching for file changes with StatReloader ...
django-q2 与 django-celery
最新发布
06-06
django-q2 和 django-celery 都是 Django 中用于处理异步任务的...总而言之，django-celery 是一个成熟的、可靠的解决方案，而 django-q2 则是一个更加灵活、高级的任务调度系统。选择哪个库取决于你的具体需求和偏好。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值