Apschedule定时任务

最新推荐文章于 2023-06-27 17:46:01 发布
最新推荐文章于 2023-06-27 17:46:01 发布
阅读量1.1k 收藏 7
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41341757/article/details/118759836
版权

一： 安装：

  • pip install apscheduler

二： 基本概念

  • 1： 触发器： 调度逻辑，描述任务何时被触发。（日期触发，时间间隔，cronjob表达式）
  • 2： 作业存储器：指定作业存储的位置，默认是保存在内存中，
  • 3： 执行器：将任务（函数）提交到线程池或者进程持中运行，当任务完成时，通知调度器发生相应的事件。
  • 4：调度器：任务调度器，属于控制角色，通过它配置作业存储器、执行器和触发器，添加、修改和删除任务。调度器协调触发器、作业存储器、执行器的运行，通常只有一个调度程序运行在应用程序中，开发人员通常不需要直接处理作业存储器、执行器或触发器，配置作业存储器和执行器是通过调度器来完成的。

三：基本案例：

  • 任务一: 每隔三秒钟执行一次。
from datetime import datetime
import os
# 1： 导入这个最简单的调度器
from apscheduler.schedulers.blocking import BlockingScheduler

# 2： 定义我们的job
def tick():
    print("Tick! The time is: %s" % datetime.now())


if __name__ == '__main__':
    # 3: 实例化BlockingScheduler调度器，没有参数表示存储器是：内存
    # 执行器是线程池，默认的线程并发数是10个。
    scheduler = BlockingScheduler()
    # 4：调度器绑定任务，并指定触发器
    # 触发器：‘interval’表示间隔执行， ‘date’, 表示指定时间触发， ‘cron’表示固定时间间隔触发。
    scheduler.add_job(tick, 'interval', seconds=3)

    try:
        # 5：执行任务
        scheduler.start()
    except Exception as e:
        print(e)

  • 任务二： 每天固定时间执行：

    from datetime import datetime
import os
# 1： 导入这个最简单的调度器
from apscheduler.schedulers.blocking import BlockingScheduler

# 2： 定义我们的job
def tick():
    print("Tick! The time is: %s" % datetime.now())


if __name__ == '__main__':
    # 3: 实例化BlockingScheduler调度器，没有参数表示存储器是：内存
    # 执行器是线程池，默认的线程并发数是10个。
    scheduler = BlockingScheduler()
    # 4：调度器绑定任务，并指定触发器
    # 每天10点10分执行
    # scheduler.add_job(tick, trigger='cron', hour=10, minute=10)
    # 每天 10点10分，11点10分，12点10分执行
    scheduler.add_job(tick, trigger='cron', hour='10-12', minute=10)

    try:
        # 5：执行任务
        scheduler.start()
    except Exception as e:
        print(e)

四： 调度器：

  • 1：调度器的执行原理：

    • 循环询问作业存储器，有没有到期要执行的任务，如果有则计算运行的时间点。
    • 交给执行器按照时间点运行。

    2：调度器的分类：

    • 1： BlockingScheduler： 调用start后会阻塞主线程。
    • 2：BackgroundScheduler: 调用start后默认开启守护线程，不会阻塞主线程。
    • 3：AsyncIOScheduler： 与AsyncIO配合使用
    • 4： GeventScheduler: 与Gevent配合使用
    • 5: TwistedScheduler: 与Twisted配合使用
    • 6: QtScheduler: 与Qt配合使用

五： 作业存储器

  • 内存：程序崩溃，则重启时，重新加入任务。
  • 数据库：程序崩溃，重启时，恢复中断的状态。推荐使用：PostgreSQL

六： 执行器

  • 1： 线程池执行器：默认
  • 2：进程池执行器：CPU密集型
  • 3：线程池+进程池执行器：

七：多执行器，存储器，单调度器案例：

  • 案例： 配置两个存储器：一个mongodb,一个sqlite。配置一个线程池执行器和一个进程池执行器。

    from pytz import utc
from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.mongodb import MongoDBJobStore
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
from apscheduler.executors.pool import ThreadPoolExecutor, ProcessPoolExecutor

jobstorage = {
    "mongodb": MongoDBJobStore(),
    "default": SQLAlchemyJobStore(url='mongodb数据库地址')
}

executes = {
    "default": ThreadPoolExecutor(20),
    "processpool": ProcessPoolExecutor(5)
}

job_default = {
    # coalesce默认情况下关闭
    'coalesce': False, 
    # 作业的默认最大运行实例限制为3
    "max_instances": 3 
}

scheduler = BackgroundScheduler(jobstores=jobstorage, executors=executes, job_defaults=job_default, timezone=utc)

八： 不同存储器执行案例：

  • 1： 内存存储：
from apscheduler.jobstores.memory import MemoryJobStore
from apscheduler.executors.pool import ThreadPoolExecutor, ProcessPoolExecutor
from apscheduler.schedulers.blocking import BlockingScheduler


from datetime import datetime

def my_job(id= 'my_job'):
    print(id, '--->', datetime.now())

# 1: 定义任务存储器为内存,其实默认的也是这个
jobstorage = {
    "default": MemoryJobStore()
}

# 2：定义执行器, 10进程20线程执行
execytors = {
    "default": ThreadPoolExecutor(20),
    "processpoll": ProcessPoolExecutor(10)
}

# 3：定义任务设置
job_defaults = {
    'coalesce': False,
    'max_instances': 3
}

# 4: 实例化调度器
scheduler = BlockingScheduler(jobstorage=jobstorage,
                              execytors=execytors,
                              job_defaults=job_defaults)

# 5: 给调度器增加任务
# 每5分钟执行一次
scheduler.add_job(my_job, args=['job_interval'],
                  id='job_interval',
                  trigger='interval',
                  seconds=5,
                  replace_existing=True)

# 截止到2021-10-25日前，每个4月到8月的每天7点到11点，每10分钟执行一次
scheduler.add_job(my_job, args=['job_cron'],
                  id='job_cron',
                  trigger='cron',
                  month='4-8,11-12',
                  hour='7-11',
                  second='*/10',
                  end_date='2021-10-25')
# 默认的配置：立刻执行一次
scheduler.add_job(my_job, args=['job_once_now'], id='job_once_now')
# 某个具体节点，执行一次
scheduler.add_job(my_job, args=['job_date_once'], id='job_date_once',
                  trigger='date',
                  run_date='2021-08-05 07:48:05')

  • 数据库存储：

    • 上面代码只需要修改存储器即可：
    from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
from apscheduler.executors.pool import ThreadPoolExecutor, ProcessPoolExecutor
from apscheduler.schedulers.blocking import BlockingScheduler


from datetime import datetime

def my_job(id= 'my_job'):
    print(id, '--->', datetime.now())

# 1: 定义任务存储器为内存,其实默认的也是这个
jobstorage = {
    "default": SQLAlchemyJobStore(url="数据库地址")
}

  • 数据库存储存在的问题：

    • 1：假如程序中断了，则再次开启的时候，调度器会将数据库中没有执行的任务再次添加进来。如果我们此时再次运行程序，则优惠追加进来相同的任务。如何让他不再加进来呢？

    • 在追加任务的时候增加配置项：replace_existing=True

      scheduler.add_job(my_job, args=['job_interval',],id='job_interval',trigger='interval',seconds=3,replace_existing=True)

    • 2：如果程序错过了我们指定的时间，我们就不让他运行了则可以增加配置项：misfire_grace_time

      scheduler.add_job(my_job,args = ['job_cron',] ,id='job_cron',trigger='cron',month='4-8,11-12',hour='7-11',second='*/15',coalesce=True,misfire_grace_time=30,replace_existing=True,end_date='2018-05-30')

    • 这里是设置如果时间相差超过30秒了，则这个任务就不执行了。

九： 调度器的其他操作：

scheduler.remove_job(job_id, jobstore=None)  # 删除作业
scheduler.remove_all_jobs(jobstore=None)  # 删除所有作业
scheduler.pause_job(job_id, jobstore=None)  # 暂停作业
scheduler.resume_job(job_id, jobstore=None)  # 恢复作业
scheduler.modify_job(job_id, jobstore=None, **changes)  # 修改单个作业属性信息
scheduler.reschedule_job(job_id, jobstore=None, trigger=None, **trigger_args)  # 修改单个作业的触发器并更新下次运行时间
scheduler.print_jobs(jobstore=None, out=sys.stdout)  # 输出作业信息

十： 调度事件监听

  • 问题1： 如果程序出现异常，会影响整个调度任务吗？

    from apscheduler.schedulers.blocking import BlockingScheduler
import datetime

def aps_test(x):
    print(1/0)
    print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'), x)

scheduler = BlockingScheduler()
scheduler.add_job(func=aps_test, args=('定时任务',), trigger='cron', second='*/5')
scheduler.start()
    • 运行这个程序会发现每5分钟报一次错。

  • 问题2：如果程序的一个任务出现异常，其余的任务能正常执行吗？

    from apscheduler.schedulers.blocking import BlockingScheduler
import datetime

def aps_test(x):
    print(1/0)
    print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'), x)

def aps_test2(x):
    print('哈哈哈哈')

scheduler = BlockingScheduler()
scheduler.add_job(func=aps_test, args=('定时任务',), trigger='cron', second='*/5')
scheduler.add_job(func=aps_test2, args=('定时任务2',), trigger='cron', second='*/5')
scheduler.start()
    • 运行发现，任务一报错，任务二仍然可以运行。

  • 设置日志记录和事件监听：

    from apscheduler.schedulers.blocking import BlockingScheduler
from apscheduler.events import EVENT_JOB_EXECUTED, EVENT_JOB_ERROR
import datetime
import logging
# 1： 定义日志格式：
# %(levelno)s	打印日志级别的数值
# %(levelname)s	打印日志级别名称
# %(pathname)s	打印当前执行程序的路径，其实就是sys.argv[0]
# %(filename)s	打印当前执行程序名
# %(funcName)s	打印日志的当前函数
# %(lineno)d	打印日志的当前行号
# %(asctime)s	打印日志的记录时间
# %(thread)d	打印线程ID
# %(threadName)s	打印线程的名称
# %(process)d	打印进程的ID
# %(message)s	打印日志的信息
logging.basicConfig(level=logging.INFO,
                    format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
                    datefmt='%Y-%m-%d %H:%M:%S',
                    filename='log1.txt',
                    filemode='a')
# 正确的任务
def aps_test(x):
    print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'), x)
# 出错的任务
def date_test(x):
    print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'), x)
    print(1 / 0)

# 2： 设置监听器
def my_listener(event):
    if event.exception:
        print('任务出错了！！！！！！')
    else:
        print('任务照常运行...')


scheduler = BlockingScheduler()
scheduler.add_job(func=date_test, args=('一次性任务,会出错',),
                  next_run_time=datetime.datetime.now() + datetime.timedelta(seconds=15), id='date_task')
# 每3秒执行一次
scheduler.add_job(func=aps_test, args=('循环任务',), trigger='interval', seconds=3, id='interval_task')

scheduler.add_listener(my_listener, EVENT_JOB_EXECUTED | EVENT_JOB_ERROR)
scheduler._logger = logging
scheduler.start()
奈何碎银没有几两
关注
专栏目录
黑马头条项目 - 7.1 APScheduler使用
weixin_41672684的博客
10-14 251
APScheduler使用 APScheduler （advanceded python scheduler）是一款Python开发的定时任务工具。 文档地址User guide — APScheduler 3.8.0.post1 documentation 特点： 不依赖于Linux系统的crontab系统定时，独立运行 可以动态添加新的定时任务，如 下单后30分钟内必须支付，否则取消订单，就可以借助此工具（每下一单就要添加此订单的定时任务） 对添加的定时任务可以做持.
APSchedule
qq_15551663的博客
03-18 412
from functools import wraps def singleton(cls,*args,**kwargs): isinstance={} @wraps(cls) def _singleton(): if cls not in isinstance: isinstance[cls]=cls(*args,**kwarg...
python大作业基于django+APScheduler的定时任务管理系统源码.zip
06-14
功能：基于python+APScheduler的定时任务管理系统，目前定时执行的任务为获取指定网页的源码并与关键字比对，若比对通过则发送邮件通知。 开发语言及框架为后端为：python+django 安装教程 系统中完成python3安装后，使用pip install -r requirements.txt指令完成后端所需python库的安装。（注：建议使用virtualenv等） 环境搭建完成后，使用python3 manage.py makemigrations以及python3 manage.py migrate指令完成数据库初始化。如出现报错，可先将admin.py中最后一行的clear_job()注释掉，待数据库构建完成后再解除注释即可。 使用python3 manage.py createsuperuser指令完成后端管理员账号的创建 直接使用python3 manage.py runserver 0.0.0.0:8000启动。
APschedule定时任务
weixin_30810239的博客
05-24 373
APScheduler是Python的一个定时任务框架，可以很方便的满足用户定时执行或者周期执行任务的需求， 它提供了基于日期date、固定时间间隔interval 、以及类似于Linux上的定时任务crontab类型的定时任务。 并且该框架不仅可以添加、删除定时任务，还可以将任务存储到数据库中，实现任务的持久化。 简单介绍 APScheduler有四种组件及相关说明： 1...
APSchedule定时器
wangziyang777的博客
02-13 1423
APSchedule 1、首先看一些资料或者官方说明，对APSchedule有一些了解： APSchedule七种度器： APSchedule四个组件： 触发器： 作业存储： 执行器： 调度器： 用法： 二、下面就来...
apscheduler定时任务
weixin_30677475的博客
06-30 128
使用apscheduler定时任务，可以使用interval任务+cron任务，interval定时更新cron配置信息，cron则实现作业计划。 通常用法 from apscheduler.schedulers.blocking import BlockingScheduler sched = BlockingScheduler() def my_...
sanic定时任务
weixin_40039686的博客
10-16 1135
sanic框架类似flask框架，也是轻量化类型。不同的是sanic自带协程。其相应速度比flask更快 from sanic import Sanic from sanic.views import HTTPMethodView from apscheduler.schedulers.background import BackgroundScheduler from sanic.response import json import threading from apscheduler.execut
定时任务：APSchedule 和 crontab
小逗的博客
04-01 1713
定时任务 一般分为两种： 1.静态定时任务，一开始就知道需要在什么时候执行。 可以选择crontab 和 APScheduler 2.动态定时任务，一开始并不知道要在什么时间点执行。 这种情况，crontab就不方便了，常用APScheduler. APScheduler 一、APScheduler介绍 1，作用： APScheduler（advanceded python scheduler）:...
apschedule怎么防止定时任务被多线程同时执行
最新发布
07-15
在使用 `APScheduler` 进行定时任务调度时，可以使用互斥锁（`Lock`）来防止多线程同时执行定时任务。下面是一个示例代码： ```python from apscheduler.schedulers.background import BackgroundScheduler import ...
Python软件定时器APScheduler使用【软件定时器，非操作系统定时器，软件可控的定时器】【用途：定时同步数据库和缓存等】【刘新宇】...
agrj56057的博客
10-10 211
APScheduler使用 APScheduler （advanceded python scheduler）是一款Python开发的定时任务工具。 文档地址https://apscheduler.readthedocs.io/en/latest/userguide.html#starting-the-scheduler 特点： 不依赖于Linux系统的crontab系...
Python - 定时任务框架【APScheduler】基本使用详解(一)
Mr_WoLong
06-27 5834
Python - 定时任务框架【APScheduler】基本使用详解(一)
python apschedule安装使用与源码分析
weixin_30730053的博客
07-25 393
我们的项目中用apschedule作为核心定时调度模块。所以对apschedule进行了一些调查和源码级的分析。 1、为什么选择apschedule？ 听信了一句话，apschedule之于python就像是quartz之于java。实际用起来还是不错的。 2、安装 # pip安装方式 $ pip install apscheduler # 源码编译方式 $ wget...
shedule 和 apscheduler
阿牧路泽
12-31 909
一、schedule 模块 schedule 是 Python 中一个轻量级的定时任务调度库，它可以完成每分钟、每小时、每天、每周几等特定日期的定时任务。因此十分方便我们执行一些轻量级的定时任务。 Schedule 是 Python3 的一个第三方模块，安装方式如下： pip3 install schedule 示例： import schedule import time def job(...
定时任务框架APScheduler学习详解
weixin_30950887的博客
03-24 268
APScheduler简介 在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的，虽然这样也可以，但是总觉得不是那么的专业，^_^所以就找到了python的定时任务模块APSchedule...
APScheduler基本使用
xys430381_1的专栏
10-30 551
http://blog.csdn.net/mx472756841/article/details/51751616
Python定时任务框架APScheduler基础知识分享
2201_75362610的博客
06-01 1236
Python定时任务框架APScheduler基础知识分享，APScheduler十分方便，课基于日期、固定时间间隔以及crontab类型任务在主程序的运行过程中快速增加新作业或删除旧作业，若把作业存储在数据库中作业的状态会被保存，当调度器重启时不必重新添加作业，作业会恢复原状态继续执行。
django使用 django-apscheduler 实现定时任务
zkpython的博客
03-04 536
1.下载 pip install django-apscheduler 2.将 django-apscheduler 加到项目中settings的INSTALLED_APPS中 INSTALLED_APPS = [ ..... 'django_apscheduler',#定时执行任务 ..... ] 3.然后迁移文件 python manage.py migrate 生成两个表：django...
python定时任务框架APScheduler详解
qq_33816243的博客
09-02 7796
说到定时任务，大家肯定会想起使用linux的crontab，或者windows自带的任务计划。虽然他们都可以实现定时任务，但是如果想要实现任务的精细化灵活控制，以及任务程序跨平台运行，此时就需要使用定时任务框架去实现。Python的apscheduler就提供了非常丰富而且方便易用的定时任务接口，本文介绍如何使用 apscheduler 实现你的定时任务。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

奈何碎银没有几两

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值