参考文档:
基本介绍
APScheduler(Advanced Python Scheduler)是一个python的任务调度器,他可以使任务定期执行,同时我们可以动态的添加或删除任务。如果我们希望任务在下次程序启动时继续执行,那么他还支持持久化任务。除此之外,他也是跨平台的。需要注意的是,APScheduler并不是一个守护进程或单独服务,他是依托于现有服务或程序运行。
安装
pip install apscheduler
或
poetry add apscheduler
快速开始
from apscheduler.schedulers.blocking import BlockingScheduler
from datetime import datetime
def job():
print(f"{datetime.now()}执行了")
if __name__ == '__main__':
scheduler = BlockingScheduler()
scheduler.add_job(func=job, trigger='interval', seconds=3)
scheduler.start()
这个栗子做了一件事:每三秒执行一次任务。
首先,初始化调度器,这里的BlockingScheduler是阻塞性的调度器,当调用start方法时,会阻塞当前进程;然后,向调度器中添加任务,这里的任务是job方法,每执行一次任务会打印文字;这里采用的是interval(间隔执行)的方式,每三秒执行一次
组件
APScheduler具有四个基本组件:
- triggers(触发器):包含调度逻辑。每个作业都有自己的触发器,该触发器确定下一步应在何时运行该作业。除了其初始配置外,触发器完全是无状态的。
- job stores(任务存储器):任务存储器是可以存储任务的地方,默认情况下任务保存在内存,也可将任务保存在各种数据库中。任务存储进去后,会进行序列化,然后也可以反序列化提取出来,继续执行。
- executors(执行器):执行器会将任务放到进程或线程中执行,任务执行完成后,执行程序会通知调度器,然后触发一些事件
- schedulers(调度器):任务调度器是属于整个调度的总指挥官。他会合理安排作业存储器、执行器、触发器进行工作,并进行添加和删除任务等。调度器通常是只有一个的。
调度器
APScheduler有很多调度器,不同的调度器适合不同的环境:
- BlockingScheduler:适用于当前进程只有这一个调度器在工作
- BackgroundScheduler:适用于在程序后台运行
- AsyncIOScheduler:适用于使用了asyncio的模块
- GeventScheduler:适用于使用了gevent的模块
- TornadoScheduler:适用于用tornado构建的应用
- TwistedScheduler:适用于用twisted构建的应用
- QtScheduler:适用于构建QT应用
任务存储器
任务存储器的选择取决于是否需要任务持久化。如果每次任务启动的时候都重新创建任务,那么可以使用内存存储器(MemoryJobStore)。如果需要任务持久化,可以使用和项目匹配的数据库存储器,这样即使是程序崩溃,重启后任务依旧可以继续执行。存储器可以有以下几种:
- MemoryJobStore:任务保存在内存中
- SQLAlchemyJobStore:使用sqlalchemy作为存储框架,官方建议数据库使用PostgreSQL
- MongoDBJobStore:使用 mongodb作为存储器
- RedisJobStore:使用 redis作为存储器
执行器
执行器的选择取决于程序使用了什么框架,默认情况下使用ThreadPoolExecutor。如果任务涉及了计算密集型操作,可以考虑使用ProcessPoolExecutor。APScheduler针对不同的程序或架构,有以下几种执行器:
- ThreadPoolExecutor:线程池执行器;
- ProcessPoolExecutor:进程池执行器;
- GeventExecutor: Gevent程序执行器;
- TornadoExecutor: Tornado程序执行器;
- TwistedExecutor: Twisted程序执行器;
- AsyncIOExecutor: asyncio程序执行器;
触发器
APScheduler内置了三种触发器:
- date:特定时间仅运行一次
- interval:固定时间间隔运行
- cron:某个时间周期运行
构建调度程序
构建调度器
假设构建一个使用默认存储器和默认执行器的阻塞调度器:
from apscheduler.schedulers.blocking import BlockingScheduler
scheduler = BlockingScheduler()
通过查看源码可以发现,默认存储器使用的是MemoryJobStore,默认执行器使用的是ThreadPoolExecutor
除了默认的配置,APScheduler也提供了许多不同的方式来配置调度器。假设现在我们希望构造一个: