python ray定时任务_Python任务调度利器之APScheduler详解

任务调度应用场景

所谓的任务调度是指安排任务的执行计划，即何时执行，怎么执行等。在现实项目中经常出现它们的身影；特别是数据类项目，比如实时统计每5分钟网站的访问量，就需要每5分钟定时从日志数据分析访问量。

总结下任务调度应用场景：

离线作业调度：按时间粒度执行某项任务

共享缓存更新：定时刷新缓存，如redis缓存；不同进程间的共享数据

任务调度工具

linux的crontab， 支持按照分钟/小时/天/月/周粒度，执行任务

java的Quartz

windows的任务计划

本文介绍的是python中的任务调度库，APScheduler(advance python scheduler)。如果你了解Quartz的话，可以看出APScheduler是Quartz的python实现；APScheduler提供了基于时间，固定时间点和crontab方式的任务调用方案， 可以当作一个跨平台的调度工具来使用。

APScheduler

组件介绍

APScheduler由5个部分组成：触发器、调度器、任务存储器、执行器和任务事件。

任务job：任务id和任务执行func

触发器triggers：确定任务何时开始执行

任务存储器job stores: 保存任务的状态

执行器executors：确定任务怎么执行

任务事件event：监控任务执行异常情况

调度器schedulers：串联任务的整个生命周期，添加编辑任务到任务存储器,在任务的执行时间到来时，把任务交给执行器执行返回结果；同时发出事件监听，监控任务事件 。

安装

pip install apscheduler

简单例子

from apscheduler.schedulers.background import BackgroundScheduler

from apscheduler.executors.pool import ThreadPoolExecutor, ProcessPoolExecutor

from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore

from apscheduler.events import EVENT_JOB_EXECUTED, EVENT_JOB_ERROR

import logging

import datetime

# 任务执行函数

def job_func(job_id):

print('job %s is runed at %s' % (job_id, datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))

# 事件监听

def job_exception_listener(event):

if event.exception:

# todo：异常处理, 告警等

print('The job crashed :(')

else:

print('The