hera离线调度开发
文章平均质量分 91
hera分布式任务调度平台
scx_white
这个作者很懒,什么都没留下…
展开
-
定时任务的实现原理:时间轮算法
前言最近在思考实现定时任务的几种方式,比如 quartz,delay queue,scheduleThreadPool,时间轮。在对比的同时,也了解了下其简单原理,在这里描述下我对时间轮算法实现定时任务的理解。时间轮定时使用方式 @Test public void test3() throws InterruptedException { DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-d原创 2021-04-15 09:51:40 · 8107 阅读 · 2 评论 -
hera源码剖析:一次任务触发的执行流程
文章目录触发任务work端master端run方法在 hera 中,任务被触发的方式有多种,比如分析师在前端手动执行触发、定时任务触发、依赖任务触发、重跑任务触发、信号丢失的触发等等。但是不管是哪种触发方式最后的入口都是在 Master#run 方法(开发中心任务触发接口在 Master#debug )。这里就讲一下手动执行的任务触发流程触发任务在最新版本中,任务手动触发类型分为手动执行、手动恢复、超级恢复三种,具体区别就不再赘述,可以通过 hera 操作文档查看,这里以手动恢复为例当我们点原创 2020-09-30 17:30:02 · 961 阅读 · 0 评论 -
hera源码剖析:项目启动之分布式锁
文章目录前言获取当前机器ip分布式锁知识点总结master服务work服务work连接master前言本文章主要是为了让使用者能够更加了解 hera 的原理,并且能够在之基础上进行改进所进行。hera 是一款分布式任务调度与开发平台,具体不再描述,开源地址:https://github.com/scxwhite/hera获取当前机器ip在 hera 中,有一些静态代码块,这里只说一个很重要的部分,WorkContext 类中有这样一部分代码 static { host原创 2020-09-29 17:41:53 · 747 阅读 · 0 评论 -
赫拉(hera)分布式任务调度系统之操作文档
前言最近发现我总是站在我的角度来使用hera,每个功能都很清楚,但是对于使用者,他们是不清楚的,所以提供一篇hera操作文档。有问题可以在下面回复操作文档登录、注册在hera上登录和注册其实分为两个部分,即用户和用户组(如果使用的是hera2.4版本以下的没这个功能)用户用户的登录url地址为 /login,页面效果如图请注意看提示,用户名为你注册的邮箱的前缀。邮箱:任务...原创 2019-10-31 21:10:05 · 9848 阅读 · 5 评论 -
赫拉(hera)分布式任务调度系统之版本发布功能页面
文章目录前言往期目录hera2.2-beta版本任务编辑时支持修改任务类型任务组添加管理员bug修复修复centos7机器组监控不显示的bug对于只有一台work时,降低任务的分发频率,尽量避免crash修复任务重试时hostGroupId为空新增一键开启/关闭上游所有任务的接口修复任务异常退出时,退出码为0的情况修复脚本改变后,任务在未全量生成版本时,而执行脚本内容还是老脚本的情况work断线时...原创 2019-01-26 15:30:41 · 2458 阅读 · 4 评论 -
赫拉(hera)分布式任务调度系统之Q&A(五)
文章目录q:依赖任务的周期怎么填?q:新加的任务什么时候会加入调度q:想立刻加入调度怎么办q:资源文件怎么上传不成功q:开启/关闭/失效按钮的区别q:如何控制任务的并行数量q:任务执行会冲突吗q:什么是漏跑检测重试q:什么是任务信号丢失重试q:为什么任务无法关闭q:为什么任务无法开启q:`master`挂了,`work`会抢占`master`吗q:`master`挂了,哪些`work`会抢占`ma...原创 2019-01-08 15:51:29 · 3699 阅读 · 3 评论 -
赫拉(hera)分布式任务调度系统之版本(四)
文章目录赫拉文章版本介绍版本的使用加入群聊赫拉文章赫拉(hera)分布式任务调度系统之架构,基本功能(一)赫拉(hera)分布式任务调度系统之项目启动(二)赫拉(hera)分布式任务调度系统之开发中心(三)版本介绍在hera系统中支持历史版本的数据重跑。每一个任务都会生成版本,版本时间根据cron表达式来产生。其中版本在脚本中没有使用内置变量时无用。版本号的生成规则为:yyyyMM...原创 2019-01-04 15:21:26 · 3231 阅读 · 0 评论 -
赫拉(hera)分布式任务调度系统之开发中心(三)
简介开发中心,顾名思义。我们进行开发的地方(当然我们也可以直接在调度中心加任务,建议任务首先在开发中心测试,通过之后再加到调度中心)。目录介绍如图所示,开发中心有两个文件夹。分别是个人文档、共享文档。这两个文件夹不允许删除。个人文档提供给账户登录者使用的,私人目录可以在这里创建,执行任务时的用户,以创建者为准共享文档文件夹内的脚本对所有用户可见,执行时任务的用户以实际的登录者...原创 2018-12-29 11:30:09 · 4004 阅读 · 0 评论 -
赫拉(hera)分布式任务调度系统之项目启动(二)
创建表克隆hera暂时还未开源 后面补上。当使用git把hera克隆到本地之后,首先在hera/hera-admin/resources目录下找到hera.sql文件,在自己的数据库中新建这些必要的表,并插入初始化的数据。克隆到本地后,即可使用maven的打包命令进行打包mvn clean package -Dmaven.test.skip -Pdev打包后可以进入hera-admi...原创 2018-12-22 11:25:00 · 7054 阅读 · 1 评论 -
赫拉(hera)分布式任务调度系统之架构,基本功能(一)
前言在大数据平台,随着业务发展,每天承载着成千上万的ETL任务调度,这些任务集中在hive,shell脚本调度。怎么样让大量的ETL任务准确的完成调度而不出现问题,甚至在任务调度执行中出现错误的情况下,任务能够完成自我恢复甚至执行错误告警与完整的日志查询。hera任务调度系统就是在这种背景下衍生的一款分布式调度系统。随着hera集群动态扩展,可以承载成千上万的任务调度。它是一款原生的分布式任务调...原创 2018-12-20 17:14:38 · 13339 阅读 · 4 评论