架构师之路----服务调度系统设计文档

2019独角兽企业重金招聘Python工程师标准>>>

需求说明

• 更好的进行任务分发；
• 进行任务状态监听；
• 异常任务重新处理；
• 消费进程的容错性；

架构设计

• Master进程；
• Workder进程；

架构说明

Master进程：

• 获取任务源数据；
• 任务源数据格式化；
• 任务源数据分发到多个Workder进程；
• 监控Worker进程任务执行状态；

Workder进程：

• 执行任务消费；
• 记录任务执行日志；
• 任务消费完成回发结果给Master进程；
• 通过执行日志进行任务去重等业务处理；

转载于:https://my.oschina.net/u/1000241/blog/999103