③ 项目源码(四五十个有趣且可靠的练手项目及源码)
④ Python基础入门、爬虫、网络开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
Python学习交流Q群101677771
类型 | 解释 |
DateTrigger | 到期执行(到xxxx年x月x日 x时x分x秒执行) 对应DateTrigger |
IntervalTrigger | 间隔执行(每5秒执行一次) |
CronTrigger | 一个crontab类型的条件(这个比较复杂,比如周一到周四的4-5点每5秒执行一次) |
作业存储(job store)存储被调度的作业,默认的作业存储是简单地把作业保存在内存中,其他的作业存储是将作业保存在数据库中。一个作业的数据讲在保存在持久化作业存储时被序列化,并在加载时被反序列化。调度器不能分享同一个作业存储。
Jobstore在scheduler中初始化,另外也可通过scheduler的add_jobstore动态添加Jobstore。每个jobstore
都会绑定一个alias,scheduler在Add Job时,根据指定的jobstore在scheduler中找到相应的jobstore,并
将job添加到jobstore中。
Jobstore主要是通过pickle库的loads和dumps【实现核心是通过python的__getstate__和__setstate__重写
实现】,每次变更时将Job动态保存到存储中,使用时再动态的加载出来,作为存储的可以是redis,也可以
是数据库【通过sqlarchemy这个库集成多种数据库】,也可以是mongodb等
目前APScheduler支持的Jobstore:
MemoryJobStore
MongoDBJobStore
RedisJobStore
RethinkDBJobStore
SQLAlchemyJobStore
ZooKeeperJobStore
执行器(executor)处理作业的运行,他们通常通过在作业中提交制定的可调用对象到一个线程或者进城池来进行。当作业完成时,执行器将会通知调度器。
- 说人话就是添加任务时候用它来包装的,executor的种类会根据不同的调度来选择,如果选择AsyncIO作为调度的库,那么选择AsyncIOExecutor,如果选择tornado作为调度的库,选择TornadoExecutor,如果选择启动进程作为调度,选择ThreadPoolExecutor或者ProcessPoolExecutor都可以Executor的选择需要根据实际的scheduler来选择不同的执行器
目前APScheduler支持的Executor:
AsyncIOExecutor
GeventExecutor
ThreadPoolExecutor
ProcessPoolExecutor
TornadoExecutor
TwistedExecutor
调度器(scheduler)是其他的组成部分。你通常在应用只有一个调度器,应用的开发者通常不会直接处理作业存储、调度器和触发器,相反,调度器提供了处理这些的合适的接口。配置作业存储和执行器可以在调度器中完成,例如添加、修改和移除作业.
Scheduler是APScheduler的核心,所有相关组件通过其定义。scheduler启动之后,将开始按照配置的任务进行调度。
除了依据所有定义Job的trigger生成的将要调度时间唤醒调度之外。当发生Job信息变更时也会触发调度。
scheduler可根据自身的需求选择不同的组件,如果是使用AsyncIO则选择AsyncIOScheduler,使用tornado则
选择TornadoScheduler。
目前APScheduler支持的Scheduler:
AsyncIOScheduler
BackgroundScheduler
BlockingScheduler
GeventScheduler
QtScheduler
TornadoScheduler
TwistedScheduler
简单应用
====
import time
from apscheduler.schedulers.blocking import BlockingScheduler # 引入后台
def my_job():
print time.strftime(‘%Y-%m-%d %H:%M:%S’, time.localtime(time.time()))
sched = BlockingScheduler()
sched.add_job(my_job, ‘interval’, seconds=5)
sched.start()
完整代码
====
trigeers 触发器
job stores job 存储
executors 执行器
schedulers 调度器
from pytz import utc
from sqlalchemy import func
from apscheduler.schedulers.background import BackgroundScheduler,AsyncIOScheduler
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
from apscheduler.executors.pool import ProcessPoolExecutor
jobstores = {
可以配置多个存储
#‘mongo’: {‘type’: ‘mongodb’},
‘default’: SQLAlchemyJobStore(url=‘sqlite:///jobs.sqlite’) # SQLAlchemyJobStore指定存储链接
}
executors = {
‘default’: {‘type’: ‘threadpool’, ‘max_workers’: 20}, # 最大工作线程数20
‘processpool’: ProcessPoolExecutor(max_workers=5) # 最大工作进程数为5
}
job_defaults = {
‘coalesce’: False, # 关闭新job的合并,当job延误或者异常原因未执行时
‘max_instances’: 3 # 并发运行新job默认最大实例多少
}
scheduler = BackgroundScheduler()
… do something else here, maybe add jobs etc.
scheduler.configure(jobstores=jobstores, executors=executors, job_defaults=job_defaults, timezone=utc) # utc作为调度程序的时区
import os
import time
def print_time(name):
print(f’{name} - {time.ctime()}')
def add_job(job_id, func, args, seconds):
“”“添加job”“”
print(f"添加间隔执行任务job - {job_id}")
scheduler.add_job(id=job_id, func=func, args=args, trigger=‘interval’, seconds=seconds)
def add_coun_job(job_id, func, args, start_time):
“”“添加job”“”
print(f"添加一次执行任务job - {job_id}")
最后
🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。
🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。
🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!