APScheduler管理及监控平台

最新推荐文章于 2024-06-15 21:34:45 发布
置顶 最新推荐文章于 2024-06-15 21:34:45 发布
阅读量1.4k 收藏 7
点赞数
分类专栏： Python Flask 技术小栈 文章标签： python APScheduler
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mx472756841/article/details/114319306
版权
Python 同时被 3 个专栏收录
27 篇文章 2 订阅
订阅专栏
技术小栈
16 篇文章 0 订阅
订阅专栏
Flask
3 篇文章 0 订阅
订阅专栏

背景

APScheduler是一个非常好用的调度平台，不过目前所有Scheduler的JOB信息都无法通过可视化的方式展示，只能通过后台日志来查看调度信息，对于管理上非常不便。

但是APScheduler非常的强大，已经预留的event功能可以帮助来实现此功能，对于APScheduler原理还不太理解的话，可以参考之前的一篇文章Python定时库APScheduler原理及用法

在使用Flask进行管理后，通过Flask-APScheduler插件来实现对APScheduler的管理以及动态增删JOB的接口实现，以此完成对APScheduler的全方位管理。

目的

本文的目的主要有两部分功能块，第一部分是利用APScheduler的event机制来实现以下两个功能并进行可视化查看

  • 将APScheduler中所有添加的JOB进行状态跟踪
  • APScheduler中每个JOB的生命周期进行跟踪

第二部分是在Flask框架上构建的管理平台上集成Flask-APScheduler插件，完成对APScheduler的管理以及动态增删JOB的接口实现。

实现

集成Flask-APScheduler插件完成APScheduler的动态管理

将APScheduler集成到Flask中

config_name = os.getenv('FLASK_CONFIG') or 'default'
app = Flask(__name__)
app.config.from_object(config[config_name])
config[config_name].init_app(app)
# 初始化Sqlarchemy
db.app = app
db.init_app(app)
# 初始化 flask_apscheduler，将scheduler嵌入到flask管理，本地在flask_apscheduler插件中增加add_listener监听所有的job生命周期
flask_apscheduler = CustomAPScheduler(db.session, app=app)
# 启动apscheduler
flask_apscheduler.start()

配置Flask-APScheduler开启对外接口

class Config:
    # apscheduler默认的jobstore
    SCHEDULER_JOBSTORES = {}
    # flask_apscheduler是否对外提供接口
    SCHEDULER_API_ENABLED = True

Flask-APScheduler提供的api如下

def _load_api(self):
    """
    Add the routes for the scheduler API.
    """
    self._add_url_route('get_scheduler_info', '', api.get_scheduler_info, 'GET')
    self._add_url_route('add_job', '/jobs', api.add_job, 'POST')
    self._add_url_route('get_job', '/jobs/<job_id>', api.get_job, 'GET')
    self._add_url_route('get_jobs', '/jobs', api.get_jobs, 'GET')
    self._add_url_route('delete_job', '/jobs/<job_id>', api.delete_job, 'DELETE')
    self._add_url_route('update_job', '/jobs/<job_id>', api.update_job, 'PATCH')
    self._add_url_route('pause_job', '/jobs/<job_id>/pause', api.pause_job, 'POST')
    self._add_url_route('resume_job', '/jobs/<job_id>/resume', api.resume_job, 'POST')
    self._add_url_route('run_job', '/jobs/<job_id>/run', api.run_job, 'POST')

启动后，通过提供的接口进行动态管理

直接动态调用接口添加， 具体的参数需要到apscheduler的源码进行查看

添加JOB举例说明(add_job)

请求添加接口：http://127.0.0.1:5000/scheduler/jobs
请求方法：POST
请求header:
{
    "Content-Type": "application/json"
}
请求body:
{
    "id": "test_add_job",
    "name":"管理平台添加job测试",
    "func": "app:jobs.test.test_job", # 这里就是模块:函数，本地定义的方法保证可以import
    "trigger": "date" # 触发器为指定时间，这里时间没有指定，就是立马执行
}
返回结果:
{
    "id": "test_add_job",
    "name": "管理平台添加job测试",
    "func": "app:jobs.test.test_job",
    "args": [],
    "kwargs": {},
    "trigger": "date",
    "run_date": "2021-03-05T15:17:10.107210+08:00",
    "misfire_grace_time": 1,
    "max_instances": 1,
    "next_run_time": "2021-03-05T15:17:10.107210+08:00"
}

充分利用APScheduler的Event机制

class CustomAPScheduler(APScheduler):
    # scheduler事件映射本地状态
    STATUS_MAPPING = {
        EVENT_JOB_ADDED: 0,
        EVENT_JOB_MODIFIED: 1,
        EVENT_JOB_SUBMITTED: 2,
        EVENT_JOB_EXECUTED: 3,
        EVENT_JOB_REMOVED: 4,
        EVENT_JOB_ERROR: 5,
        EVENT_JOB_MISSED: 6,
        EVENT_ALL_JOBS_REMOVED: 7,
        EVENT_JOB_MAX_INSTANCES: 8
    }

    def __init__(self, session, scheduler=None, app=None):
        super(CustomAPScheduler, self).__init__(scheduler, app)
        self.session = session

    def listener_all_job(self, event):
        """
        监控job的生命周期，可视化监控，并且可增加后续的没有触发任务等监控
        添加到线程做处理
        :param event:
        :return:
        """
        job_id = None
        args = []
        if event.code != EVENT_ALL_JOBS_REMOVED:
            job_id = event.job_id
        if job_id:
            jobstore_alias = event.jobstore
            job = self.scheduler.get_job(job_id, jobstore_alias)
            if job:
                name = job.name
                func = str(job.func_ref)
                trigger = job.trigger if isinstance(job.trigger, str) else str(job.trigger).split("[")[0]
                next_run_time = str(job.next_run_time).split(".")[0]
            else:
                name = None
                func = None
                trigger = None
                next_run_time = None
            args = [name, func, trigger, next_run_time]
        traceback = event.traceback if hasattr(event, 'traceback') else "",
        args.append(traceback)
        t = threading.Thread(target=self.handle_listener_all_job, args=[event.code, job_id, *args])
        t.start()
        t.join()

    def handle_listener_all_job(self, event_type, *args):
        """
        实际处理IO操作
        如何处理一个job_id重复使用的问题，采用本地id自增，如果真有job_id重复的情况，则认为指定的是最后一个job_id对应的任务
        """
        try:
            if event_type == EVENT_JOB_ADDED:
                # 添加任务定义表
                job = ApschedulerJobInfo()
                job.job_id = args[0]
                job.job_name = args[1]
                job.job_func = args[2]
                job.job_trigger = args[3]
                job.job_next_run_time = args[4]
                job.job_status = 0
                self.session.add(job)
                self.session.flush()
                # 增加任务事件表
                job_event = ApschedulerJobEventInfo()
                job_event.job_info_id = job.id
                job_event.event = self.STATUS_MAPPING[event_type]
                self.session.add(job_event)
                self.session.commit()
            elif event_type == EVENT_JOB_MODIFIED:
                # 修改job[取数据库表中job_id最后一个进行修改]
                job = ApschedulerJobInfo.query.order_by(ApschedulerJobInfo.id.desc()).filter(
                    ApschedulerJobInfo.job_id == args[0]).first()
                if job:
                    # 更新JOB表
                    job.job_name = args[1]
                    job.job_func = args[2]
                    job.job_trigger = args[3]
                    job.job_next_run_time = args[4]
                    job.job_status = 0

                    # 增加任务事件表
                    job_event = ApschedulerJobEventInfo()
                    job_event.job_info_id = job.id
                    job_event.event = self.STATUS_MAPPING[event_type]
                    self.session.add(job_event)
                    self.session.commit()
                else:
                    LOGGER.warning("指定的job本地不存在{}".format(args))
            elif event_type == EVENT_JOB_SUBMITTED:
                # 提交job执行
                job = ApschedulerJobInfo.query.order_by(ApschedulerJobInfo.id.desc()).filter(
                    ApschedulerJobInfo.job_id == args[0]).first()
                if job:
                    # 增加任务事件表
                    job_event = ApschedulerJobEventInfo()
                    job_event.job_info_id = job.id
                    job_event.event = self.STATUS_MAPPING[event_type]
                    self.session.add(job_event)
                    self.session.commit()
                else:
                    LOGGER.warning("指定的job本地不存在{}".format(args))
            elif event_type == EVENT_JOB_EXECUTED:
                # 执行job
                job = ApschedulerJobInfo.query.order_by(ApschedulerJobInfo.id.desc()).filter(
                    ApschedulerJobInfo.job_id == args[0]).first()
                if job:
                    # 更新JOB表
                    job.job_status = 1

                    # 增加任务事件表
                    job_event = ApschedulerJobEventInfo()
                    job_event.job_info_id = job.id
                    job_event.event = self.STATUS_MAPPING[event_type]
                    self.session.add(job_event)
                    self.session.commit()
                else:
                    LOGGER.warning("指定的job本地不存在{}".format(args))
            elif event_type == EVENT_JOB_REMOVED:
                # 删除job
                job = ApschedulerJobInfo.query.order_by(ApschedulerJobInfo.id.desc()).filter(
                    ApschedulerJobInfo.job_id == args[0]).first()
                if job:
                    # 更新JOB表
                    job.job_status = 5

                    # 增加任务事件表
                    job_event = ApschedulerJobEventInfo()
                    job_event.job_info_id = job.id
                    job_event.event = self.STATUS_MAPPING[event_type]
                    self.session.add(job_event)
                    self.session.commit()
                else:
                    LOGGER.warning("指定的job本地不存在{}".format(args))
            elif event_type == EVENT_JOB_ERROR:
                # 执行job出错
                job = ApschedulerJobInfo.query.order_by(ApschedulerJobInfo.id.desc()).filter(
                    ApschedulerJobInfo.job_id == args[0]).first()
                if job:
                    # 更新JOB表
                    job.job_status = 2
                    job.job_traceback = args[5]
                    # 增加任务事件表
                    job_event = ApschedulerJobEventInfo()
                    job_event.job_info_id = job.id
                    job_event.event = self.STATUS_MAPPING[event_type]
                    self.session.add(job_event)
                    self.session.commit()
                else:
                    LOGGER.warning("指定的job本地不存在{}".format(args))
            elif event_type == EVENT_JOB_MISSED:
                # job执行错过
                job = ApschedulerJobInfo.query.order_by(ApschedulerJobInfo.id.desc()).filter(
                    ApschedulerJobInfo.job_id == args[0]).first()
                if job:
                    # 更新JOB表
                    job.job_status = 3
                    job.job_traceback = args[5]
                    # 增加任务事件表
                    job_event = ApschedulerJobEventInfo()
                    job_event.job_info_id = job.id
                    job_event.event = self.STATUS_MAPPING[event_type]
                    self.session.add(job_event)
                    self.session.commit()
                else:
                    LOGGER.warning("指定的job本地不存在{}".format(args))
            elif event_type == EVENT_ALL_JOBS_REMOVED:
                # 删除所有job
                all_jobs = ApschedulerJobInfo.query.filter(ApschedulerJobInfo.job_status == 0).all()
                for job in all_jobs:
                    job.job_status = 6
                    # 增加任务事件表
                    job_event = ApschedulerJobEventInfo()
                    job_event.job_info_id = job.id
                    job_event.event = self.STATUS_MAPPING[event_type]
                    self.session.add(job_event)
                    self.session.commit()
            elif event_type == EVENT_JOB_MAX_INSTANCES:
                # job超过最大实例
                job = ApschedulerJobInfo.query.order_by(ApschedulerJobInfo.id.desc()).filter(
                    ApschedulerJobInfo.job_id == args[0]).first()
                if job:
                    # 更新JOB表
                    job.job_status = 4
                    job.job_traceback = args[5]
                    # 增加任务事件表
                    job_event = ApschedulerJobEventInfo()
                    job_event.job_info_id = job.id
                    job_event.event = self.STATUS_MAPPING[event_type]
                    self.session.add(job_event)
                    self.session.commit()
                else:
                    LOGGER.warning("指定的job本地不存在{}".format(args))
        except:
            LOGGER.exception("执行任务异常")

    def init_app(self, app):
        super(CustomAPScheduler, self).init_app(app)

        # 增加监听函数，监听所有job的生命周期
        self.add_listener(self.listener_all_job,
                          EVENT_JOB_ERROR | EVENT_JOB_MISSED | EVENT_JOB_MAX_INSTANCES | EVENT_ALL_JOBS_REMOVED | EVENT_JOB_ADDED | EVENT_JOB_REMOVED | EVENT_JOB_MODIFIED | EVENT_JOB_EXECUTED | EVENT_JOB_SUBMITTED)

收集完成数据后进行展示及管理

  • JOB管理
    在这里插入图片描述
  • JOB事件执行明细
    在这里插入图片描述

关注公众号“战渣渣”，回复“调度”获得源码

战渣渣
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Django+nginx+uwsgi +apscheduler任务重复执行问题
ainixiya的博客
08-17 2239
Django+uwsgi+apscheduler定时任务重复执行问题
xiaoniu_cron:基于APScheduler二次开发，支持集群，可视化，API动态调用等等。BUG及时通知到微信，网页等等
05-09
小牛定时任务管理（xiaoniu_cron） 特性 支持集群 可视化界面操作 定时任务统一管理 支持API动态调用 完全兼容Crontab 支持秒级定时任务 任务可搜索、暂停、编辑、删除 支持查看日志 BUG及时通知 Docker 一键安装，方便使用 大家有什么问题，或者更好的建议可以加群： 交流交流！ 或者 更新记录 2021-02-22 提前祝大家元宵节快乐！！ 优化分布式，如果有人需要用分布式的话，最好用此版本。 增加上传实时执行记录，方便用户查看该任务更详细情况。比如定时任务调用的是一个长时间的操作（通常会加异步去处理），这时候就需要上传任务更详细的执行的情况。 页面优化。 增加数据库更新命令 2020-12-30 提前祝大家新年快乐，元旦快乐！！ Python环境由原来3.5调整为3.6。 服务用supervisor来维护。 增加日志系统，存放于datas/logs目录下。 20
基于flask和apscheduler的可视化操作任务调度系统Python源码+文档说明+界面截图+部署说明
最新发布
2301_78627004的博客
06-15 412
特点:可视化界面操作定时任务统一管理完全兼容Crontab支持秒级定时任务作业任务可搜索、暂停、删除作业任务持久化存储、三种不同触发器类型作业动态添加。
Python软件定时器APScheduler使用【软件定时器，非操作系统定时器，软件可控的定时器】【用途：定时同步数据库和缓存等】【刘新宇】...
agrj56057的博客
10-10 203
APScheduler使用 APScheduler （advanceded python scheduler）是一款Python开发的定时任务工具。 文档地址https://apscheduler.readthedocs.io/en/latest/userguide.html#starting-the-scheduler 特点： 不依赖于Linux系统的crontab系...
python利器怎么编程-Python任务调度利器之APScheduler详解
weixin_37988176的博客
11-01 343
任务调度应用场景所谓的任务调度是指安排任务的执行计划，即何时执行，怎么执行等。在现实项目中经常出现它们的身影；特别是数据类项目，比如实时统计每5分钟网站的访问量，就需要每5分钟定时从日志数据分析访问量。总结下任务调度应用场景：离线作业调度：按时间粒度执行某项任务共享缓存更新：定时刷新缓存，如redis缓存；不同进程间的共享数据任务调度工具linux的crontab， 支持按照分钟/小时/天/月/周...
Python Flask与APScheduler构建简易任务监控
肖永威的专栏
01-26 2035
基于Python生态环境，由APScheduler技术构建定时采集数据、预测数据服务，与Flask整合为web服务应用，构建简易任务监控解决方案。
Python笔记 - 使用APScheduler管理定时任务
iov_aaron的专栏
03-31 4397
APScheduler是一个python库，用于进程内任务调度。我们可以用它调度python代码，使被调度的python代码在将来某个时刻或某些时刻执行。并且，我们可以随心所欲的增加或删除任务。如果将任务存在数据库中，那么这些任务在调度器重启后仍然有效，并保持着之前的状态。当调度程序重启后，调度器将运行那些因为调度器不在而没能执行的任务。除此之外，APScheduler可以用作一个跨平台的调度器，比
Python：使用Flask-APScheduler管理定时任务
彭世瑜的博客
03-15 1947
文档：https://github.com/viniciuschiele/flask-apscheduler 安装 pip install Flask-APScheduler 示例 from flask import Flask from flask_apscheduler import APScheduler class Config(object): JOBS = [ { 'id': 'job1', 'func': '__m
APScheduler定时任务
h18208975507的博客
09-25 1543
APScheduler （advanceded python scheduler）是一款Python开发的定时任务工具。支持异步执行、后台执行调度任务。 APScheduler 支持三种调度任务： 固定时间间隔 固定时间点（日期） Linux 下的 Crontab 命令 安装 pip install apscheduler 使用方式 新建一个 schedulers (调度器) 。 添加一个调度任务(job stores)。 运行调度任务。 ...
Python 任务调度利器：APScheduler
Python中文社区
04-01 1599
作者简介：wedo实验君，数据分析师；热爱生活，热爱写作。任务调度应用场景所谓的任务调度是指安排任务的执行计划，即何时执行，怎么执行等。在现实项目中经常出现它们的身影；特别是数据类项目...
2、APScheduler分布式任务调度、监听器的用法【Python3测试任务管理总结】
zxwscau的博客
12-15 677
添加任务时，确保任务可以在所有节点上执行。APScheduler提供了分布式任务调度的支持，允许你在多个节点上执行任务。这对于需要横向扩展和分布式部署的应用程序来说非常有用。在上述例子中，监听器将在任务执行成功（'job_executed'）和任务执行失败（'job_error'）时被调用。分布式任务调度和监听器是APScheduler中的两个强大功能，使得在大规模和分布式的应用中更容易管理和监控任务。监听器允许你监控和响应任务执行的各个阶段，如任务开始前、任务执行时、任务执行完成等。
麻雀：运维管理平台（python3 + flask + pycharts + apscheduler + gunicorn），更改结构设计，包含依托MySQL，influxdb，elasticsearch，zabbix，k8s等数据源数据
02-02
基于容器化的CI / CD及自动化运维管理平台，由于定制化开发的原因，使用sso方式登录验证，平台配置文件以及依赖于过多数据源，无法直接部署运行，需要进行二次开发。 别忘了给个star ^ _ ^ 开发语言与环境依赖 编程语言：Python3.6 + HTML + JQuery 前端Web框架：Bootstrap4 前端图表框架：Pycharts + Datatables 初步Web框架：Flask1.0 + 首要任务框架：apscheduler 初步数据库：Mysql + Influxdb + Redis 原始日志源：ElasticSearch 监控数据源：zabbix 初步代码库：gitlab 容器化平台：Kubernetes + Docker + Harbor 初步编译：jenkins 登录鉴权：cas 操作系统：CentOS 7+ Ansible版本：2.6+ web运行：Nginx + Gunicron 组织框架 sparrow ├── api #api接口 │ ├── ajax_api.py │   ├── assets_query.py │   ├── _
APScheduler任务调度工具在Django项目中的使用
生有涯，知无涯
01-18 1522
1. APScheduler APScheduler：强大的任务调度工具，可以完成定时任务，周期任务等，它是跨平台的，用于取代Linux下的cron daemon或者Windows下的task scheduler。 内置三种调度调度系统： Cron风格（具有可选的开始/结束时间） 间隔性执行 仅在某个时间执行一次 2.代码演练 # coding=UTF-8 import init_enviro...
APScheduler 源码阅读(二) job
会偷懒的程序猿
03-26 1262
趁热打铁，学习一下 APScheduler 的 python 的源码，很好奇任务调度控制的实现。 分析源码主要还是针对 APScheduler 下的几个关键的模块 events 事件 executors 执行器 job 任务 jobstores 任务存储 triggers 触发器 schedulers 调度程序 这一篇主要瞅瞅 job 事件 Job 记录自己的触发条件 triggers, 记录自己的所属的任务存储 jobstores, 记录自己交给谁执行 executors, 记录由谁来调度 sche
APScheduler：智能定时任务管理的利器
gitblog_00021的博客
03-20 349
APScheduler：智能定时任务管理的利器 项目地址:https://gitcode.com/agronholm/apscheduler APScheduler 是一个强大的、灵活的、可扩展的 Python 定时任务调度库。它允许开发者在应用程序中安排事件以按预定的时间间隔执行，类似于 Unix 的 cron，但更加现代化且易于集成到Python应用中。 项目简介 APScheduler 提供...
apscheduler的监听事件
hqzxsc2006的专栏
05-08 3883
from apscheduler.events import EVENT_JOB_ERROR, EVENT_JOB_MISSED, EVENT_JOB_EXECUTED import logging logger = logging.getLogger('job') def job_listener(Event): job = scheduler.get_job(Event.job_i...
apscheduler的使用
weixin_30396699的博客
10-30 325
　最近一个程序要用到后台定时任务，看了看python后台任务，一般2个选择，一个是apscheduler，一个celery。apscheduler比较直观简单一点，就选说说这个库吧。网上一搜索，晕死，好多写apscheduler的都是超级老的版本，而且博客之间相互乱抄，错误一大堆。还是自己读官方文档，为大家理一遍吧。 　　先安装一下吧，最新版本的apscheduler是3.0.5版 安装　...
Djano+apscheduler实现接口自动化平台定时运行
For_if_while的博客
06-06 1903
其他—目前遇到的报错： 1.Job identifier (test_jobs) conflicts with an existing job 此错误是因为工作id和数据库中现存在工作id一致导致的，需要修改id名称为别的即可； 2：django.db.utils.OperationalError: database is locked 初步估计是因为开启的job过大，导致连接池不够，改了一种实例化调度器的方式后，可以解决，并且加一个misfire_grace_time属性值将这个值设置大一下，增加容错机
django-apscheduler实现定时任务管理
05-25
Django-APScheduler是一个在Django项目中使用APScheduler库的插件，可以方便地实现定时任务管理。下面是实现步骤： 1. 安装Django-APScheduler 使用pip安装Django-APScheduler： ```python pip install django-apscheduler ``` 2. 配置Django-APScheduler 在Django项目的`settings.py`文件中添加以下配置： ```python INSTALLED_APPS = [ # ... 'django_apscheduler', ] SCHEDULER_AUTOSTART = True ``` 这里配置了自动启动定时任务调度器。 3. 创建定时任务 在Django项目中创建一个`tasks.py`文件，用于存放定时任务的代码。例如： ```python from apscheduler.schedulers.background import BackgroundScheduler def my_job(): print('Hello world!') scheduler = BackgroundScheduler() scheduler.add_job(my_job, 'interval', seconds=10) scheduler.start() ``` 这里定义了一个名为`my_job`的函数，用于执行定时任务。然后创建了一个`BackgroundScheduler`对象，并通过`add_job`方法添加了一个每10秒执行一次`my_job`函数的定时任务。 4. 启动Django项目 使用`python manage.py runserver`命令启动Django项目，即可自动启动定时任务调度器，并执行定时任务。 可以通过浏览器访问`http://127.0.0.1:8000/admin/django_apscheduler/`查看定时任务的运行情况。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值