简易通用任务调度框架-功能定义

不时需要从网上抓取数据满足本地应用的数据需求。每次都是重新写个小程序来完成工作，下载原始数据、提取需要部分、保存到本地数据库、显示每条记录的处理日志、多线程等等等，开始还有新鲜感，但时间一长，抓取数据一多，再之没什么管理功能对工作进行管理，事情就变得越来越痛苦了。

为了解脱一下，想做一个简单的通用任务调度框架很久，但一直因为这个那个原因而一直拖着，所以在这里整理整理需求设计，督促自己。

 

功能：

1. 框架通过加载\卸载数据抓取功能模块程序集的方式对数据抓取功能进行增删管理；

2. 框架提供必要的日志记录接口供各功能模块输出日志使用；

3. 框架对各功能模块的数据抓取工作状态（进行中、停止等等）进行管理；

4. 提供Web界面支持管理功能（个人喜好）；

。。。暂时想到这么多（10/10/16 18:42mark），以后继续添加。

 

系统构成：Web + Windows服务 + DB。

1.通过Web页面进行管理，一是个人喜好，二是方便以后远程管理；

2.Windows服务负责执行各抓取任务，如果需要支持多线程的话也比较方便；

3.DB未定，在自己的小本上部署，暂时定个SQLite3。

 

(未完。。。随时补充。。。)

转载于:https://www.cnblogs.com/junz/archive/2010/10/16/1853198.html