shell
闻香识代码
这个作者很懒,什么都没留下…
展开
-
Azkaban (2.5.0)使用指南
Azkaban (2.5.0)使用指南1. 背景在企业开发中,经常会使用脚本进行定时任务执行的工作。这种工作属于重复性劳动,所以简单的脚本定时执行,使用linux的crontab即可不过当遇到脚本任务之间有先后依赖,甚至有出错重试策略时,crontab就不够用了,这时候脚本任务调度管理框架就闪亮登场,azkaban,oozie等都是如此本文主要讲解azkaban的实际使用案例2. 使用azkaban使用时,需要配置一个job文件,文件中设置job类型以及job执行的脚本或者任务。如果执行原创 2020-10-20 10:14:44 · 520 阅读 · 2 评论 -
Azkaban 简介和2.5.0版本安装教程
Azkaban 简介和2.5.0版本安装教程1. 背景下述是大数据业务和技术架构简图从上图可以看出,整个大数据框架中,涉及到很多数据传输和处理任务。而这些任务有不少都是需要每天运行,或者定时运行的。由于这些脚本之间往往存在着先后或者互相依赖关系,有时候还需要设置一些重试机制。虽然linux的contab机制加上脚本中代码逻辑,可以实现脚本依赖运行,甚至重试策略机制,但这样无疑会让脚本代码变得非常复杂,而这背离了脚本的书写逻辑。脚本的书写逻辑一般是一个脚本做一件事情,尽量避免复杂化。复杂的逻辑可原创 2020-10-19 22:01:58 · 721 阅读 · 1 评论 -
脚本通知告警--避免临时被加班小助手(shell python)
脚本通知告警–避免临时被加班小助手1. 背景在企业开发中,不管是java后台,爬虫,大数据开发,运维等都面临需要定时执行任务的需求。而这种定时任务属于一个周期内需要执行多少次,并且有相对固定的启动时间。这时候就需要使用脚本定时启动工具。linux作为程序员使用最广泛的操作系统,自带了crontab 功能,可以按照时分秒年月日等维度做脚本启动管理。但有一个问题,这个功能相对原始,如果需要对脚本的先后执行顺序,失败策略等做处理,则需要在脚本中进行逻辑处理,而这毫无疑问会让脚本逻辑变得复杂起来。azka原创 2020-10-19 20:46:10 · 615 阅读 · 1 评论