分布式任务系统cronsun

一、任务系统

图 1

图 2

说任务系统的话大家想起的就是要执行任务了，什么时间什么地点做什么事情。图 1 是简单的任务，在每天 8 点输出 Hello Gophers!，大家用的比较多的任务系统就是 crond，其实这个系统（图 2）也很简单，就是守护进程加一个任务列表。

|早期的 cron

说一下早期的 cron，早期的时候（大概在80 年代）在 Unix 系统里面 cron 运行逻辑

1.读 /usr/lib/crontab 文件

2.如果有命令要在当前时间执行，就用 root 用去执行命令

3.每秒钟去运行一次，有就执行，没有就重复，比较简单

|支持多用户的 cron

-Unix System V，1983

1. 启动的时候读取所有用户下的 .crontab 文件

2. 计算出每个 crontab 文件里需要执行的命令的下一次执行时间

3. 把这些命令按下一次执行时间排序后放入队列里

4. 进入主循环

• 计算队列里第一个任务的执行时间与当前的时间差 

• Sleep 直到第一个任务执行时间

• 后台执行任务

• 计算这个任务的下一次执行时间，放回队列，排序

后面发展成支持多用户的，这时候的执行算法改了。这相当于按照时间顺序排列，谁先执行的就放在那里，计算现在的时间与下个时间间隔，再让程序暂停，需要时唤醒程序执行，然后重复。

|近代的 cron

Linux，1991

1. Vixiecron(PaulVixie1987)

2. Version3Vixiecron(1993) 

3. Version4.1ISCCron(2004) 

4. anacron,dcron,fcron

现在的话 90 年代，大多数的都是用 4.0 的版本。大家用了这么久，基本都是在一些单机上跑一些任务，也是这样的操作。功能很简单，一个时间的规则，一个命令，如果公司有很多服务器的话，维护起来就不方便了，必须得一台一台去管理的或者是用脚本管理，多机器的情况下任务维护成本较高。

而且如果单机的话，如果失败了之后怎么办？就无法继续了，如果能做成分布式的就好了。

二、分布式任务系统

|分布式任务系统特点

• 分布性

• 对等性

• 并发性

• 缺乏全局时钟 

• 故障总是会发生

分布式系统有什么特点呢？大概的特点就不延伸了，大家可以理解为把一个简单的软件放在多台机器上，然后多台机器是都可以完成这个任务的。那么分布式的 crond 的问题，怎么解决呢？

图 3

第一个就是把守护进程做成多个分布式的进程（图 3），把命令分布在数据库里面，这是最简单的实践方式。

|市面上的一些任务系统

• Azkaban 

• Chronos 

• Airflow 

• dkron

• swoole-crontab 

• Saturn

现在我们也想用一个这样的东西，一开始的时候找了市面上的方案，如上述现在市面上有很多方案，国内国外都有，最后一个是唯品会弄的，我挑几个讲一下。

1.Azkaban 是一个 Hadoop 上的任务管理，提供功能清晰，简单易用的 Web UI 界面，也提供 job 配置文件快速建立任务和任务之间的依赖关系等等好处，但只能对 Hadoop 做任务管理，不符合我们的要求，我们的要求是替换单机版的 crond。

2.Chronos 适合在容器编排管理工具上的调动，里面全部是替代了 crond，里面有 UI，也有灵活的调度，但是要依赖于容器，对于我们来说应该还有更好的方案。

3.Dkron 这个就比较接近我们想要的东西，比较简单，高可用，也可控。但是不好的就是对任务的支持比较简单，而且都跑在容器上，相当于替换成容器。因为我们的机器很多都是本地任务，需要无缝替换 crond，因此也不考虑。

|需求

对很多任务系统进行考察之后，我们有一下需求：

• 可替换 crond

• 分布式、高可用

• 支持多种任务属性

• 易用

• 易部署

因此，我们开发了 cronsun。

三、cronsun

图 4

图 4 是 cronsun 的系统架构，简单来说就是把任务存储在一个分布式 etcd 里，单个 crond 部署成一个服务，也就是node.1\2\3等等部署下去，再由 web 界面去管理。

|cronsun 特性

• 部署简单

• Web界面统一管理任务

• 任务失败重试

• 任务失败邮件提醒

• 多机单任务(防止单机挂掉任务不按时执行)

• 单机任务并行数限制

• 执行单次任务

• 多机器严格的时间间隔任务

• 支持安全性配置，可以限制任务脚本的后缀和执行用户

• ....

现在看一下 cronsun 的特性。首先第一点就是部署简单，只需要在每个机器上部署 crond 节点，再部署一个界面管理就可以了。如果 cronweb 挂掉了，只是这个界面不能对任务进行更新，但是不影响任务节点的运行，也就不影响任务的执行。其他的任务属性也讲了，最主要的是对任务有几种任务类型，就是可以在单台机器替换 crond ，也解决单点的问题。比如说某个机器死了另外一台机器就会执行这个任务，保证任务执行。

|cronsun 主要组件

图 5

cronsun 主要有 3 个主件，都是通过 etcd 通讯的。cronnode 负责节点的分组及节点的状态，croeweb 是管理任务的、执行结果都可以在上面看。

|任务类型

• 普通任务，和 crontab 中的任务一样

• 单机单进程任务，普通的 crontab 任务是单机的，如果执行任务的机器出现问题，任务可能执行失败。 cronsun 提供此任务类型是保证有多台机器可以执行一个任务，但在执行任务被执行时，只有一台机器在执行任务

• 一个任务执行间隔内允许执行一次，这个类型的任务和单机单进程任务类似，但限制更严格。因为多台机器间，时间可能会不一致，而某些任务要求执行的时间间隔要严格一致时，可以考虑采取这种类型

刚才说的任务就是这 3 种类型，单机单进程是只想在一台机器上执行，有 n 个节点，但是只会在一台机器上执行结果。此外还有一种情况，假如有3台机器，每台机器的时间不一致的话，这种任务保证在一个时间间隔内，不管机器时间差怎样，保证只执行一次，不重复执行，解决机器时间不同步的情况。

|任务属性

• 失败重试

• 超时设置

• 安全设置

• 同时执行任务数设置 

• 分组设置

任务的属性也大概说一下，如果随便填任务的话，web 任务界面暴露出去人家随便填几个任务就可以攻击你，安全设置只要加了脚本的后缀（就是本机器有的脚本），假如你的机器是安全的，那么整个系统就是安全的。还有同时执行任务数量设置，还有分组设置便于方便管理的。

|任务定时器

图 6

定时器，跟 crontab 是一样的，只是多了一个秒级。crontab 便于集中管理，多台服务器的时候就比较方便，保证了不会单点失败。还有就是简单的任务调度，web 是通过 API 来调度的，如果想使用的话稍微看一下 API 就可以调用了，整个系统大概就是这样。

四、心得体会

说一个开发过程中的体会。

第一个是方案的选择，方案选择一开始的时候基本都有这样的问题，你到底要做什么东西，系统要搞很多东西，我想调度，我想备份，能达成多种任务的系统里面。另外一种就是我把我想要的东西某个点做的很好，基于我们的人力物力，而且我们做的足够好，至于后面想扩展的时候能够扩展就可以了。

|timer 的使用

图 7

如图 7 是一个典型的运用场景，我先跑一个任务，假如这个任务超时了就设置超时。在监听的过程中，有任务就执行，没任务就执行超时处理。

图 8

刚才的使用只是单次的话是没有问题的，但是在 for 循环里面会每次循环的话都会新建一个timer，这样的情况在要求性能比较高的场合，这是不可行的。有什么替代的方法呢？

图 9

图 10

熟悉的小伙伴应该就会想到直接做一个 tick（图 9 ），自动给出消息，但是这个代码有一些问题，例如上面的代码，这个代码假如 1 秒之后没有了就超时。有个执行（图 10），如果你在这里可以直接刷新的话，这个超时的时候不会刷新的。

图 11

如果想超时也能刷新的话就需要做一些改造（图 11）。改造后就会刷新它，来的时候就会刷新超时，处理完了第一个，再处理完第二个，这样就可以解决 timer up 的问题。

|goroutine 退出

图 12

第二个是 goroutine 的退出，大家可能有这种习惯就是每当起任务的时候都会起 goroutine ，这是不好的习惯。解决的办法是就是限定一定的 goroutine，限定 goroutine 的数量而防止流量暴涨的后续问题（图 12），这是比较好的方案。

大家可以看一下 goroutine 退出的机制，每起一个 goroutine ，就起一个监听，退出的时候就等待 goroutine 退出，再结束。

图 13

这里有个问题，这种方式只适合 goroutine 一跑就结束的形式，并不能通过信号去让 goroutine 的退出。如果要通过信号控制 goroutine 的退出怎么办呢？需要有一个等待的函数（图 13），就是退出接受信号的函数。

图 14

具体是怎么实现的呢？如图 14 函数监听退出的信号，goroutine 接到信号就直接退出，在外面的时候就等待，整个退出机制就很完善了。

图 15

图 16

但是以上情况是如果有一个信号退出的时候所有 goroutine 就会退出了，如果想实现链式的退出怎么办呢？就需要使用到信号传递了（图15）。可以这么做（图16），如图信号传递在第一个结束后再做传递，第二个监听完退出再传递，如此类推到所有退出完毕，就可以实现链式的有秩序退出。

|语言的选择

最后再来说一下为什么选择 Go 语言来做开发语言，总的来说可以总结为以下几点：

• 简单、开发效率高

• 部署简单，只需一个二进制文件，无依赖

• 适合自己的才是最好的

一是我们看中它容易学习，开发效率高，运营也不错。两个人在工作之余，相当于工作的 20% 的时间，团队一个月就弄了一个版本出来，我们觉得还不错。

二是部署很简单，部署的时候就是二进制，很小没有依赖，服务器只要不是太老的系统部署十分简单轻便。

最后一个就是适合自己的才是最好的， Go 语言对我们公司来讲实现的成本是最低的，是最适合我们的，在我们的眼里是最好的