爬虫产品开发安排

一　产品的功能特点

1. 包括自定义抓取　以及　常备网站一键入库抓取
2. 支持自定义调度
3. 版本更新无感，后期免维护
4. 程序再抓取过程中出现问题会有邮件提醒
5. 支持mysql oracle mongodb
6. 支持异步入库
7. 支持restful接口
8. 支持thrift/grpc调用python版本
9. 支持分布式部署
10. 支持登录/验证码验证登录功能

二　开发进度安排

一期(年前)

1. 完成产品的单机docker一键部署
2. 任务自定义调度
3. 邮件提醒
4. mysql mongodb异步入库驱动改写
5. oracle驱动支持
6. 完成pip的安装方式支持

二期

1. 完成restful接口支持
2. 完成thrift/grpc接口支持
3. 完成登录/验证码登录功能

三期

1. 产品的分布式部署支持
2. 与Kubernetes的结合

后期迭代

1. docker Kubernetes 与rpc服务治理的融合探索