微服务编排 conductor_一个Netflix开发的微服务编排引擎,支持可视化工作流定义...

本文介绍了Netflix的微服务编排引擎Conductor,它用于处理复杂的分布式工作流,提供工作流定义、任务调度、状态跟踪等功能。Conductor以JSON DSL定义工作流,支持UI可视化和强大的API接口,目前已经在Netflix大规模使用并已开源。
摘要由CSDN通过智能技术生成

424d90e822d48faf8d808b0ef55ea4af.png

Netflix内容平台工程团队支撑了许多业务,这些业务流程由微服务任务异步驱动的。 其中一些任务是持续数天的长期进程。 这些进程在为全球观众提供字幕方面发挥着至关重要的作用。
比如:

  • Studio合作伙伴内容集成
  • 来自合作伙伴的基于IMF的内容集成
  • 在Netflix中设置新标题
  • 接收内容,编码和部署到CDN

传统做法中,这些进程是临时编排的,使用pub/sub 组合起来,直接进行REST调用,并使用数据库来管理状态。 然而,随着微服务数量和流程复杂性的增加,如果没有中央协调器,就无法了解这些分布式工作流(workflow)。
我们将Conductor“作为编排引擎”构建,以满足以下需求,在应用程序中消除了模板,并提供反应流:

  • 使用基于JSON DSL 的蓝图定义执行流程。
  • 跟踪和管理工作流。
  • 能够暂停,恢复和重新启动进程。
  • 用户界面可视化处理流程。
  • 能够在需要时同步处理所有任务。
  • 能够扩展到数百万个并发运行的流程。
  • 由客户端提取出来的的队列服务支持。
  • 能够通过HTTP或其他方式操作,例如GRPC。

Conductor旨在满足上述需求,现在已在Netflix使用了将近一年。 迄今为止,它调度超过260万个工作流,从简单的线性工作流到运行多天的非常复杂的动态工作流。
如今Conductor已经开源,我们希望Conductor可以服务于有类似需求的场景,并提升其能力。 你可以在此处找到Conductor的开发人员文档。

为什么不进行点对点编排?

随着业务需求和复杂性的增长,使用点对点任务编排会难以扩展。 发布/订阅模型适用于最简单的流程,也有一些问题:

  • 流程分散在多个应用程序的代码中
  • 通常围绕输入/输出,SLA等存在紧密耦合和假设,PUB/SUB难以适应不断变化的需求
  • 几乎没有办法系统地回答“设置电影还有什么没完成”?

为什么是微服务?

在微服务领域,许多业

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值