量化交易系统任务框架的演化之路(5)用Kafka实现分布式计算任务框架

版权声明:原创文章,欢迎转载,转载请注明出处和原文链接 https://blog.csdn.net/mydeman/article/details/80691529

在之前的几篇文章中,都是基于单服务器系统讲解了任务框架的逐步演化,包含了效率、依赖关系、可管理性等几个方面的内容。可是随着量化系统的中因子、信号、数据预处理、日志监控等需求的不断增多,并且大家都知道量化交易系统,是对响应时间有要求的,尤其是对分钟级别甚至tick级别信号的检测等,那么这个时候,单机系统已经无法适应实际需求了,为了提高效率就要考虑通过分布式来提高效率。
在进行下一步之前,我们应该明白,所有的优化都是针对具体的业务场景,否则就无的放矢,达不到预期效果。那么,这里的场景是:

每天收盘后,要针对3000多只股票以及指数,计算一系列的指标,随着指标的增多,计算的速度越来越慢。

改造后的框架应该满足以下需求:

  1. 计算任务的节点可以随时增加
  2. 能够根据节点的性能分配任务量

那么针对上面的场景和需求,再结合之前的经验,将框架中的角色分为两个:
Manager: 负责管理Worker以及给分配任务
Woker: 负责执行分配的任务

为了解耦,这里引入了Kafka作为消息中间件,起到模块间的解耦作用,具体模块间的流程图:
这里写图片描述

从时序关系来看,大概的流程是:

Created with Raphaël 2.1.2WorkerWorkerManagerManager启动/注册/空闲保存到空闲Worker队列分配任务执行任务执行完毕/空闲心跳

理解了流程后,写代码实现就好了。

阅读更多

扫码向博主提问

mydeman

博客专家

大道至简,量化之道
  • 擅长领域:
  • 架构设计
  • Quants
去开通我的Chat快问

没有更多推荐了,返回首页