大数据管理平台-定时自动化任务管控

从上次功能架构的调整到现在又是将近一年了，因为有其他项目在耽误时间，这个项目在自动化上还是有点开发的。

功能是基于需求，需求是来源与业务，业务是服务与人们某一生活需求的。这个功能也不例外，如某网站或某服务平台的新闻动态类栏目，这种实时性高、时效性好的信息需要及时的更新数据库以方便请求/发送数据。就是这样一个很通用的需求。

需要定时，自动化，处理任务，那么我们选了：

定时4个思路实现：

定时器：优点：起/停可控，单线程运行-缺点：时间不可以动态设置，定时执行配置不灵活
import java.util.Calendar;   
import java.util.Date;  
import java.util.Timer;  
import java.util.TimerTask;

定时：
import net.dagongsoft.framework.quartz.QuartzJob;
import net.dagongsoft.framework.quartz.QuartzManager;

线程循环：缺点：循环实现，时间间隔固定不可变 优点：线程池方式来执行任务，可设置时间点执行
java.lang.thread
java.lang.runnable
java.util.concurrent.ScheduledExecutorService

Spring轻量级SpingTask标签
<task:scheduled-tasks></task:scheduled-tasks>

Spring 显示配置 优点：拼读可控，缺点：不可时间点确定
方法继承TimerTask实现

自动化：

自动化本身是执行自动化，通过定时实现，其次是任务可以自己能处理一下任务临时的异常，这里想需要的是

1.异常处理机制，这里可控异常及可预见异常都在业务层笑话，不可预料的异常都异常拦截器处理。

2.异常分类

数据异常，引入深度学习丰富异常库并反馈数据组或DBA查验数据，不影响下一周期业务

业务异常，叫异常拦截器处理，不做归纳总结，直接提示修改方法

连接异常，网络或物理传送层某步出现异常，仅做记录

任务：

触发任务方式

这样需要针对不同业务的不同模型，确定触发形式。目前我们的支持可控可配置的任务有R\Python\SOLR\MR\JAVAdROOLS\KJB\KTR

这里的任务可配参数有：定时参数（某时间执行，如何执行）/（单任务，任务链）

ktr/kjb是通过ETL工具spoon的API执行

SOLR是通过编写固定开放开发的java方法

其中R/py/MR 都有整合java的依赖，如rJava/rYthon.....cmd命令/shell脚本直接触发文件