管理调度
半路出家的coder
这个作者很懒,什么都没留下…
展开
-
浅谈工作流调度系统
转自http://ju.outofmemory.cn/entry/221885每个公司都有自己的一套或者多套调度系统,从简单到复杂,满足各种定制化的需求。Crontab任务调度在没有工作流调度系统之前,公司里面的任务都是通过crontab来定义的,时间长了后会发现很多问题:大量的crontab任务需要管理任务没有按时执行,各种原因失败,需要重试多服务器环境下,crontab...转载 2018-08-30 11:11:07 · 2079 阅读 · 0 评论 -
airflow EmailOperator 发送邮件 附件文件名丢失或乱码问题
开始使用airflow使用 EmailOperator 模块发送邮件修改源代码处理文件名问题查看源代码追踪问题,EmailOperator使用了 from airflow.utils.email import send_email,通过email这个类完成邮件的最终发送,所以讲问题定位到了这里。 第84行part['Content-Disposition'] = 'att...原创 2018-08-30 11:46:25 · 2600 阅读 · 1 评论 -
airflow 运行周期设置 schedule_interval
airflow 运行周期问题最近开始正式使用airflow,关于 schedule_interval 和页面上显示的 last run一直有些不太清楚的地方,而在设置一个每周运行的任务时终于遇到了问题,任务并没有能够如期运行。一系列google之后发现 airflow的 schedule_interval虽然可以使用cron表达式,但是还是和crontab有一些区别的。关于 backf...原创 2018-09-12 12:04:53 · 23954 阅读 · 8 评论