用Crontab打造简易工作流引擎

已于 2023-06-01 10:47:26 修改
阅读量67 收藏
点赞数
分类专栏： 大数据见微 文章标签： crontab
于 2016-11-24 09:21:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keyboardlabourer/article/details/130980553
版权
大数据见微 专栏收录该内容
39 篇文章 3 订阅 ¥19.90 ¥99.00
订阅专栏
本文介绍了如何利用Crontab创建一个类似于Oozie的简单工作流引擎，解决Oozie在数据触发条件上的局限性。通过Crontab实现时间与数据条件触发任务，支持条件轮询和任务并行执行，并给出了具体实现方式和示例。
摘要由CSDN通过智能技术生成

1. 引言

众所周知，Oozie(1, 2)是基于时间条件与数据生成来做工作流调度的，但是Oozie的数据触发条件只支持HDFS路径，故而面临着这样的问题：

  • 无法判断Hive partition是否已存在；
  • 无法判断Elasticsearch index是否已写入完成；
  • ...

因此，灵活可扩展的工作流引擎才是正确姿势！下面，我将介绍如何用Crontab来打造一个类似于Oozie的简易工作流引擎；对标Oozie，其应满足功能：

  • 时间条件与数据生成触发任务，如Oozie coordinator的datasets与input-events
了解本专栏 订阅专栏 解锁全文
浅唱书令
关注
专栏目录
订阅专栏
Oozie
xyc1211的博客
08-30 695
乌兹。
堪称货拉拉混合云数据库建设史，一场DBA团队的逆袭之战
杨建荣的学习笔记
11-19 1865
本文根据蔡鹏老师在〖2021 Gdevops全球敏捷运维峰会-广州站〗现场演讲内容整理而成。（点击文末“阅读原文”可获取完整PPT）讲师介绍蔡鹏，前饿了么，蚂蚁金服技术专家，现任货拉拉数据...
Github上优秀的.NET Core开源项目的集合
paolei的笔记
10-01 4376
内容包括：库、工具、框架、模板引擎、身份认证、数据库、ORM框架、图片处理、文本处理、机器学习、日志、代码分析、教程等。 Github地址：https://github.com/GeekPowerFelixSun，[awesome-dotnet-core] 其中的翻译有可能有问题，大家发现了及时提出来，其他的比较好的项目也可以提出来，我会及时添加修改上去的。 一般 ASP.NET Core Documentation- 官方ASP.NET核心文档站点。 .NET Core Documentati.
微信游戏推荐系统大揭秘
腾讯技术工程
04-21 2250
作者：boxianlai，腾讯 WXG 应用研究员这篇文章整理于 2020 年 12 月 31 号在腾讯 WXG T 族开放技分享材料，分享内容是我们在搭建一套适合微信游戏业务特色推荐系统...
Python的框架集合
zhangzhenhao的专栏
08-19 8387
今天突然遇到一个比较全面的 python的框架的列表，分享一下。 http://www.cnblogs.com/lonenysky/p/4780300.html Awesome Python，Python的框架集合 Awesome Python A curated list of awesome Python frameworks, libraries and software. I
python 资源大全
yang889999888的博客
07-12 1693
转载地址：https://my.oschina.net/u/2306127/blog/639345 Awesome Python Environment Management 　　 环境管理 Package Management              软件包管理 Package Repositories              软件源 Distr
Linux用crontab例行工作安排.docx
09-26
在Linux系统中，`crontab...通过理解和掌握`crontab`，你可以有效地自动化Linux系统的日常维护工作，提高工作效率，减少手动干预的需求。不过，也需要注意合理规划和管理`crontab`任务，避免过度使用导致系统资源浪费。
linux C7 crontab离线安装包
08-19
5. **配置和使用Crontab**：编辑crontab文件，如`crontab -e`，根据需求添加定时任务。任务的格式由5个字段组成：分钟、小时、日期、月份和星期，以及要执行的命令。 了解了这些基本知识后，我们还需要掌握一些...
Python使用crontab模块设置和清除定时任务操作详解
09-19
### Python使用crontab模块设置和清除定时任务操作详解 #### 概述 本文主要介绍如何在CentOS 7平台上利用Python与`python-crontab`模块进行定时任务的管理和控制。通过具体的示例，我们将逐步展示从环境搭建到定时...
Linux CentOS使用crontab设置定时重启的方法
09-15
在CentOS系统中，我们可以使用`crontab`来设置定时重启服务器，以确保系统的稳定运行或在特定时间进行维护。 首先，让我们了解如何查看和设置`crontab`任务。要查看当前已经存在的`crontab`任务，可以使用以下命令...
【计算机图形学】四、B样条曲线的生成
听雨草堂
01-18 6006
1.算法 2. 源代码 #include "stdafx.h" #include "GL/glut.h" #include "stdlib.h" void init() { glClearColor(1.0,1.0,1.0,0.0); glMatrixMode(GL_PROJECTION); gluOrtho2D(0.0,600.0,0.0,400.
【Python】网络爬虫（一）：pyquery一瞥
听雨草堂
04-29 4733
1.pyquery简介 python中的pyquery模块语法与jquery相近，可用来解析HTML文件。官方文档地址：https://pythonhosted.org/pyquery/ 。通过HTML中的标签、id、给定的索引等来获取元素，使得解析HTML文件极为方便。 2.实例 2.1 爬取豆瓣电影页面中主演 右键chrome中的审查元素，观察到主演的标
【计算机图形学】三、bezier曲线的生成
听雨草堂
01-18 4160
1. 算法 2. 源代码 #include "stdafx.h" #include "GL/glut.h" #include "stdlib.h" #include "math.h" void init() { glClearColor(1.0,1.0,1.0,0.0); glMatrixMode(GL_PROJECTION); gluOrtho2D(0.0
【Hadoop】数据序列化系统Avro
听雨草堂
08-31 3515
Avro简介 schema 文件组成 声明代码 测试代码 序列化与反序列化 specific generic 参考文献Avro简介Avro是由Doug Cutting（Hadoop之父）创建的数据序列化系统，旨在解决Writeable类型的不足：缺乏语言的可移植性。为了支持跨语言，Avro的schema与语言的模式无关。有关Avro的更多特性请参看官方文档 1。Avro文件的读写是依据schema而
【Hadoop】Avro源码分析（二）：反序列化之Generic
听雨草堂
10-10 3140
文件读取 类图继承 DataFileStream DataFileReader Header与Data Block读取 初始化Header Data Block读取本文着重研究avro反序列化的Generic方式，先从下面这段读取avro文件的代码开始讲起。File file = new File("e://twitter.avro"); DatumReader dat
【计算机图形学】二、椭圆的生成
听雨草堂
01-18 2182
1. 算法 2. 源代码 #include "stdafx.h" #include "GL/glut.h" #include "stdlib.h" void init() { glClearColor(1.0,1.0,1.0,0.0); glMatrixMode(GL_PROJECTION); gluOrtho2D(0.0,600.0,0.0,400
【Hadoop】Avro源码分析（一）：Schema
听雨草堂
09-03 2014
抽象类Schema Type 类图 原生类型Schema的创建 保留字段 类RecordSchema Name与Names 类Field RecordShema的定义 toString的实现 测试代码有关Avro的schema介绍已经在前一篇中给出了。本篇主要分析org.apache.avro.schema.java源码，以此深入了解schema。抽象类Schemaschema是abstract c
【计算机图形学】六、Mandelbrot集
听雨草堂
01-19 1790
1. 算法 2. 源代码 #include "stdafx.h" #include "GL/glut.h" #include "stdlib.h" #include "math.h" float xmin=-2.00,xmax=0.50; float ymin=-1.25,ymax=1.25; void init() { glClearColor(1.0,1.0,
【计算机图形学】五、Julia集
听雨草堂
01-19 1672
1. 算法 2. 源代码 #include "stdafx.h" #include "GL/glut.h" #include "stdlib.h" #include "math.h" void init() { glClearColor(1.0,1.0,1.0,0.0); glMatrixMode(GL_PROJECTION); gluOrtho2D(-0.
crontab判断工作日
最新发布
08-10
要在 crontab 中判断工作日，你可以使用 shell 脚本来实现。以下是一个示例脚本，用于判断当前日期是否为工作日： ```shell #!/bin/bash # 获取当前日期，格式为年-月-日 current_date=$(date +%Y-%m-%d) # 获取当前日期是星期几（1-7，1 表示星期一，7 表示星期日） day_of_week=$(date +%u) # 判断是否为周末（星期六或星期日） if [ "$day_of_week" -eq 6 ] || [ "$day_of_week" -eq 7 ]; then echo "Today is a weekend." else echo "Today is a workday." # 在这里执行你的工作日任务 fi ``` 在这个脚本中，我们使用 `date` 命令获取当前日期和星期几的信息。然后，我们使用条件语句判断当前日期是否为周末（星期六或星期日）。如果是周末，脚本输出 "Today is a weekend."；如果是工作日，则输出 "Today is a workday."。你可以在脚本中添加你想要执行的工作日任务。 将这个脚本保存为一个文件，例如 `check_workday.sh`，然后在 crontab 中设置定时任务来运行该脚本。例如，你可以使用以下命令编辑 crontab： ``` crontab -e ``` 然后添加一行类似以下的条目来每天运行该脚本： ``` 0 9 * * 1-5 /path/to/check_workday.sh ``` 在这个例子中，脚本将在每个工作日的上午 9 点运行。你可以根据需要调整时间和脚本路径。 请注意，crontab 中的时间格式是 `分钟 小时 日 月 星期`，其中星期的取值范围是 0-7（0 和 7 都表示星期日）。 希望这个示例能帮助你实现在 crontab 中判断工作日。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浅唱书令

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值