python之window下的任务调度

最新推荐文章于 2022-10-08 15:08:27 发布
最新推荐文章于 2022-10-08 15:08:27 发布
阅读量209 收藏
点赞数
文章标签： python java
最近写用python写了一个任务调度程序。
1.通过python的schedule触发任务
2.读取外部文件task_conf.txt来配置调度任务
3.目前可以配置信息包含:时间；触发taskid（即task间也可以有dependency；频率，大周期为一周，目前有支持一周内的任意天，及通俗的工作日和每日task
4.任务调度为异步
5.每个task为一个py，自己封装逻辑代码（提供了一些自己写common function）
6.只在window下运行，linux环境没有测试，但根据python的易用性，在linux/unix下实现基本没问题
7.task结果支持mail方式通知用户（当前我通过更新tomcat下的web文件，来实现task结果告知，虽然方法土了点，但用用还不错）
代码量不多，有兴趣的可以向我要，大家互相学习。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/26149628/viewspace-1268072/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/26149628/viewspace-1268072/

cnm13086
关注
python的任务调度库 Advanced Python Scheduler (APScheduler)
zhangzhechun的专栏
04-05 302
Advanced Python Scheduler (APScheduler) 是一个用于 Python 的灵活且易于使用的任务调度库，它允许你在特定的时间间隔内或在特定时间点执行 Python 代码。总之，这些是使用 Advanced Python Scheduler (APScheduler) 库的基本步骤。调度器被创建并配置好后，你可以使用 start() 方法来启动调度器。其中，第一个参数为任务函数，第二个参数为调度类型，第三个参数为调度时间。如果你想停止调度器，可以使用 stop() 方法。
使用Windows自带任务调度器执行Python 脚本（Anaconda环境）
weixin_43245733的博客
01-19 2055
1、打开Windows任务调度器 控制面板–>管理工具–>计划任务 2、右键点击“任务计划程序库”新建一个文件夹 右键点击新建的文件夹，在其中新建一个计划任务 输入名称 3、选择时间 4、选择执行操作 5、选择程序 方法1：使用Python编译器 注意，这一步非常重要，需要填写三个参数： 程序或脚本：填写 Python编译器的名称 python.exe 添加参数：打算执行的Python脚本的完整路径，F:\Script\demo.py 起始于： 填写Python编译器的目录，上图中，
深度解析 | 基于DAG的分布式任务调度平台：Maat
阿里技术
08-16 9212
阿里妹导读：搜索中台建设过程中，单个系统不再能满足复杂业务的需求，更多时候需要多个子系统互相协作，异步地按照指定流程完成一项特定的功能。例如一个应用的上线流程依次需要调用...
python定时执行脚本_Windows 任务调度程序定时执行Python脚本
weixin_39974030的博客
11-29 217
Windows 任务调度程序（Task Scheduler）可以定时执行程序，本文分享使用Task Scheduler定时执行Python脚本的两种方法。在控制面版->管理员工具中打开 Task Scheduler ：在Task Scheduler Library中创建一个新的文件夹demo，右击，点击“Create Basic Task”，打开创建任务向导：step1：输入任务的名称step2：...
Windows 任务调度程序定时执行Python脚本
albh81462的博客
08-08 830
Windows 任务调度程序（Task Scheduler）可以定时执行程序，本文分享使用Task Scheduler定时执行Python脚本的两种方法。 在控制面版->管理员工具中打开Task Scheduler ： 在Task Scheduler Library中创建一个新的文件夹demo，右击，点击“Create Basic Task”，打开创建任务向导： s...
python之实现每日任务调度功能
云中寻雾的博客
06-01 1282
由于项目需要，有许多开发的小程序，需要每日定时执行，但是又不想用linux自用的crontab功能，所以试着项目中的批量调度编排模式，手写了python版的任务调度。 目录结构 pycrontab + bin --存放task配置的任务程序 + +exec.py -- 任务启动程序 + log + tasks --任务配置信息、实例化配置信息 + tools --工具类 + +logger.py --日志封装类 + +thread.py-- 线程封装类 + config
python控制windows 任务计划程序 获取具体单一任务
nongcunqq的博客
10-08 721
【代码】python控制windows 任务计划程序 获取具体单一任务。
python定时任务之cron_Python定时任务框架APScheduler 3.0.3 Cron示例
weixin_39676021的博客
12-10 792
APScheduler是基于Quartz的一个Python定时任务框架，实现了Quartz的所有功能，使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务，并且可以持久化任务。基于这些功能，我们可以很方便的实现一个python定时任务系统。安装安装过程很简单，可以基于pip和源码。Pip install apscheduler==3.0.3或者下载源码，运行命令：Python...
celery+ rabbitMq + python window是下配置
04-01
标题 "celery+ rabbitMq + python windows环境配置...了解以上知识后，你将能够在Windows环境下搭建和使用Celery+RabbitMQ的异步任务处理系统。记得始终关注版本兼容性，保持软件更新，并根据具体需求进行定制化配置。
Python库 | time_window-0.0.1-py3-none-any.whl
02-20
Python库`time_window`是一个...通过灵活地处理时间窗口，开发者可以更有效地处理时间序列数据，进行实时分析或调度任务。在数据分析、物联网(IoT)、监控系统以及金融等领域，`time_window`库都有可能发挥重要作用。
python模拟进程调度可视化tkinter
11-05
使用python内置模块tkinter实现进程的可视化模拟调度，下载后的源代码可直接运行，根据操作系统作业设计而成 备注：如确实需要但是积分不多的朋友们，可前往本人主页搜索文章《python模拟进程调度可视化tkinter》，内附代码，免费
微软工作流组件简介-Windows Workflow Foudation
10-26
微软推出的工作流引擎：Windows Workflow Foudation，简单介绍一下。 这个开发环境需要安装在vs2005里面。 可以选择你的workflow引擎的Host 他处理的主要有两类工作流：顺序工作流（Sequential Workflow ）和状态机工作流（State Machine Workflow ）
python 服务监控_python实现监控windows服务并自动启动服务示例
weixin_39624733的博客
12-20 452
使用Python 2.7 + pywin32 + wxpython开发每隔一段时间检测一下服务是否停止，如果停止尝试启动服务。进行服务停止日志记录AppMain.py复制代码 代码如下:#!/usr/bin/env python#-*- encoding:utf-8 -*-“””1. 每隔一分钟检测一次服务状态2. 如果发现服务状态已经停止，那么尝试启动服务3. 自动记录日志4. 任务栏图标显示“...
python任务调度之schedule
图像研究猿的专栏
11-07 364
简介 从最简单的例子看起： import schedule import time def job(): print("I'm working...") schedule.every(10).minutes.do(job) schedule.every().hour.do(job) schedule.every().day.at("10:30").do(job) schedu...
python dag调度系统开发_基于机器学习的DAG调度平台
weixin_39845613的博客
12-10 279
什么是DAG?有向无环图树形结构：除根节点，每个节点有且仅有一个上级节点，下级节点不限。根节点没有上级节点。图结构：每个节点上级、下级节点数不限。DAG调度平台的定义及场景任务调度是在各行各业是个基础问题，当任务复杂同时存在任务复杂依赖的时候，就需要DAG调度。如：机器学习的可视化建模(PAI平台、第四范式)，数据的抽取、转换、加载(ETL)，在业务复杂情况下就需要DAG的调度管理等接下来说说基于...
python dag调度系统开发_深度解析 | 基于DAG的分布式任务调度平台：Maat
weixin_39804641的博客
12-10 297
背景什么是Maat？Maat是一个基于开源项目Airflow的流程调度系统，它支持用户自定义地组装流程节点，流程可以在用户指定的时间触发(支持crontab格式)，或由用户手动触发。Maat的所有节点分布式地运行在Hippo上，由Drogo调度。用户可以创建自己的调度节点和执行节点，达到资源隔离的目的。用户可以通过配置的方式安装自己执行节点的运行环境，也可以配置执行节点的副本数。下图展示了一个任务...
python dag调度系统开发_python – 以DAG方式调度作业
weixin_39986435的博客
12-10 297
我们有一个包含不同类型工作的系统.我们打电话给他们举个例子：job_1job_2job_3它们都需要不同的参数集(和可选参数).即我们为不同的x = A,B,C运行job_1(x)…. job_2运行一组参数,这些参数依赖于job_1(x)的结果,job_2也加载job_A(x)存储的数据.等等.结果是依赖关系的树结构.现在,这些工作偶尔因某种原因而失败.因此,如果x = B的job_A失败,那么...
python dag调度系统开发_DAG（有向无环图）动态作业调度程序
weixin_39913628的博客
12-10 359
I need to manage a large workflow of ETL tasks, which execution depends on time, data availability or an external event. Some jobs may fail during execution of the workflow and the system should have...
python实现非线性流水线调度
最新发布
09-09
### 回答1： 非线性流水线调度是一种常见的优化问题，可以用来解决各种生产流程中的调度问题。在 Python 中实现非线性流水线调度可以使用一些优化库，比如 Pyomo 和 PuLP。 一般来说，非线性流水线调度可以分为以下几个步骤： 1. 定义变量和参数：首先要定义需要优化的变量和参数，比如任务的开始时间、完成时间、时间窗口等等。 2. 定义约束条件：根据实际问题，定义约束条件，比如任务之前的任务必须完成，任务的开始时间必须在时间窗口内等等。 3. 定义目标函数：根据实际问题，定义需要优化的目标函数，比如最小化任务完成时间、最小化空闲时间等等。 4. 调用优化库求解：将上述定义的变量、参数、约束条件和目标函数输入到优化库中，调用求解器进行求解。 以下是一个简单的非线性流水线调度的 Python 实现示例，使用 Pyomo 库： ```python from pyomo.environ import * from pyomo.opt import SolverFactory # 定义任务和流水线 jobs = ["job1", "job2", "job3"] stages = ["stage1", "stage2", "stage3"] # 定义任务完成时间 completion_time = {"job1": 10, "job2": 15, "job3": 20} # 定义时间窗口 time_windows = {"stage1": (0, 100), "stage2": (10, 80), "stage3": (20, 90)} # 定义模型 model = ConcreteModel() # 定义变量 model.start_time = Var(jobs, stages, within=NonNegativeReals) # 定义约束条件 def stage_start_rule(model, j, i): return model.start_time[j, i] >= sum(completion_time[k] for k in jobs if k != j and (k, i) in model.start_time) model.stage_start = Constraint(jobs, stages, rule=stage_start_rule) def time_window_rule(model, j, i): return inequality(time_windows[i][0], model.start_time[j, i], time_windows[i][1]) model.time_window = Constraint(jobs, stages, rule=time_window_rule) # 定义目标函数 def completion_time_rule(model): return sum(model.start_time[j, stages[-1]] + completion_time[j] for j in jobs) model.objective = Objective(rule=completion_time_rule, sense=minimize) # 求解模型 solver = SolverFactory('ipopt') results = solver.solve(model) # 输出结果 for j in jobs: for i in stages: print("Start time for job %s at stage %s: %f" % (j, i, model.start_time[j, i].value)) print("Completion time: %f" % model.objective()) ``` 这段代码定义了三个任务和三个流水线，每个任务的完成时间已经确定，同时每个流水线有一个时间窗口。然后，定义了模型的变量、约束条件和目标函数，并使用求解器求解模型。最后，输出了每个任务在每个流水线上的开始时间和完成时间。 ### 回答2： 非线性流水线调度是指在流水线任务中存在相互依赖关系的情况下，通过合理安排任务的先后顺序来提高执行效率。Python是一种高级编程语言，在实现非线性流水线调度方面具有很好的灵活性和扩展性。 要实现非线性流水线调度，首先需要确定任务间的依赖关系。一种常见的做法是使用有向无环图（DAG）来表示任务间的依赖关系，每个任务作为图的一个节点，任务间的依赖关系作为图的边。 在Python中，可以使用网络X库来操作和处理有向无环图。可以将每个任务表示为该库的节点对象，然后通过添加边来构建任务之间的依赖关系。此外，使用拓扑排序算法可以将有向无环图转化为任务执行的先后顺序。 拓扑排序算法可以通过深度优先搜索（DFS）或广度优先搜索（BFS）来实现。在Python中，可以使用递归的方式进行深度优先搜索，或使用队列进行广度优先搜索。 具体实现步骤如下： 1. 定义任务的类，并根据任务间的依赖关系构建有向无环图。 2. 使用拓扑排序算法，获取任务执行的先后顺序。 3. 根据任务执行的顺序，依次执行任务并传递必要的参数。 4. 监测任务的完成情况，确保非线性流水线调度的正确执行。 总的来说，Python可以通过网络X库和拓扑排序算法来实现非线性流水线调度。通过合理构建任务的依赖关系，并根据任务的执行顺序来提高任务的执行效率。 ### 回答3： 非线性流水线调度是指在传统的流水线调度中，任务的执行顺序不再是按照线性顺序进行，而是根据任务之间的依赖关系和优先级进行调度。Python提供了一些库和方法，可以实现非线性流水线调度。 首先，我们可以使用Python的多线程库（如threading）或多进程库（如multiprocessing）来实现并发执行不同任务的功能。通过创建多个线程或进程，可以同时执行多个任务。 其次，我们可以使用Python的协程库（如asyncio）来实现任务的异步执行。协程可以将一个任务分成多个步骤，每个步骤都可以在需要的时候暂停和恢复。这样可以在执行某个步骤时，暂停该任务，执行其他任务，从而实现并发执行。 此外，我们还可以使用Python的队列库（如queue）来实现任务之间的依赖关系管理。通过将各个任务添加到队列中，并设置任务之间的依赖关系，可以确保每个任务都在其依赖的任务执行完毕后再执行。 最后，我们可以根据任务的优先级来进行调度。可以使用Python的优先队列库（如heapq）来维护任务的优先级顺序，然后根据优先级选择下一个要执行的任务。 综上所述，Python提供的多线程、多进程、协程、队列和优先队列等功能可以很好地实现非线性流水线调度。我们可以根据具体的需求和任务之间的关系，选择适合的方法来实现非线性流水线调度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值