如何调度spark程序_如何定时，周期性的运行程序？Python APScheduler实现任务灵活调度...

最新推荐文章于 2023-05-19 11:37:05 发布

weixin_40003780

最新推荐文章于 2023-05-19 11:37:05 发布

阅读量527

点赞数

文章标签：如何调度spark程序

本文链接：https://blog.csdn.net/weixin_40003780/article/details/112684559

版权

本文介绍了Python的APScheduler模块，一个强大的定时任务框架，可替代Linux的Crond服务。它支持日期、固定间隔和Cron类型的触发器，并提供多种任务存储器和执行器。文章详细讲解了安装、任务存储器、执行器、调度器以及各种触发器的使用，并给出了具体的代码示例。

摘要由CSDN通过智能技术生成

在我们的开发工作中，时常会有这样的开发需求，如需要定时或者周期性的运行某些程序，因此经常用到一些定时服务，如在 Linux系统中使用 Crond 服务实现程序的定时运行。

在 Python中也有这样的一个模块，那就是 APScheduler，它是基于Quartz 的一个 Python定时任务框架，实现了 Quartz的全部功能，使用起来十分简单、高效。其提供了基于日期、固定时间间隔以及 Crontab类型的任务，并且支持持久化任务。同时也提供了不同的存储机制，可以方便与数据库等第三方的外部持久化存储进行协同工作。它主要包含了四种组件：

Triggers：任务触发器，任务以何种方式触发。
Job stores：任务存储器，持久存储任务。
Executors：任务执行器，执行任务的模块。
Schedulers：任务调度器，通过配置 trigger、job store、executor等实现对任务的增删改查等调度控制。

APScheduler安装

安装过程如下：

任务存储器 Job stores

Job stores 存储被调度的任务，默认的任务存储是简单地把任务保存在内存(MemoryJobStore)中，其他的任务存储形式是将任务保存在数据库中。一个任务的数据将在保存在持久化任务存储时被序列化，在加载时被反序列化。调度器不能分享同一个任务存储。job store支持主流的存储机制：redis、mongodb、内存等等。

以 MongoDBJobStore为例，实例如下：

执行器 Executors

Executors 处理任务的运行，他们通常通过在任务中提交制定的可调用对象到一个线程或者进城池来进行，当任务完成时，执行器将会通知调度器。

调度器 Schedulers

通常在应用只有一个调度器，调度器提供了处理任务存储、调度器、触发器合适的接口。配置任务存储和执行器可以在调度器中完成，例如添加、修改和移除任务。常用的调度器如下：

BlockingScheduler：仅可用在当前你的进程之内，与当前的进行共享计算资源，适合于只在进程中运行单个任务的情况，通常在调度器是你唯一要运行的东西时使用。
BackgroundScheduler:　在后台运行调度，不影响当前的系统计算运行，适合于要求任何在程序后台运行的情况，当希望调度器在应用后台执行时使用。
AsyncIOScheduler:　如果当前系统中使用了async module，则需要使用异步的调度器，适合于使用asyncio框架的情况。
GeventScheduler:　如果使用了 gevent，则需要使用该调度，适合于使用 gevent框架的情况。
TornadoScheduler:　如果使用了Tornado, 则使用当前的调度器，适合于使用 Tornado框架的应用。
TwistedScheduler：Twister应用的调度器，适合使用Twisted框架的应用。
QtScheduler:　Qt的调度器，适合使用QT的情况。