轻松编排工作流，浅谈海豚调度如何使用Python调用API接口？

最近，在做某大型零售企业项目时，有客户用到DolphinScheduler，就咨询我们这个能用 Python 脚本编排工作流吗？该如何实现？相信有很多人会有这样的疑问，那么，本期特别邀请迅易数据开发工程师李翰聪，为我们简单分享海豚调度的优势和实际使用。

为什么企业数据开发要使用海豚调度？

当企业在做数据开发时，任务调度平台会扮演自动执行预设任务的重要角色，是业务开展过程中不可或缺的一环。

随着企业业务的快速发展，总是会需要定时执行各种类型的任务，这些任务之间还可能存在着各种依赖关系。而且在使用任务调度平台往往会遇到一些问题，比如：

1. 企业历史累计的离线任务数量庞大，可能已达到1w+的规模，平台的稳定性能否支持。
2. 企业离线任务增量大，平台是否拥有良好的扩展性和处理能力。
3. 企业非专业开发人员对于配置调度的易用性要求严格，需要能支持SQL化操作及友好的配置界面，以达到"平民化"且易于使用的体验。

这些场景在数据开发领域十分的常见，那么怎么才能很好的解决这些个问题呢？

可以说，DolphinScheduler就能很好地解决上述问题。本文的内容也比较简单，下面我会先明海豚调度有什么优势，再分享使用Python来调用 API 接口的实操演示。

什么是海豚调度？有什么优势？

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。

Apache DolphinScheduler 在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。DolphinScheduler 以 DAG（Directed Acyclic Graph，DAG）流式方式组装任务，可以及时监控任务的执行状态，支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。

DolphinScheduler 的主要特性如下：

• 易于部署：提供四种部署方式，包括Standalone、Cluster、Docker和Kubernetes。
• 简单易用：通过四种方式创建和管理工作流（Web UI、Python SDK、Yaml文件和Open API），还有可视化DAG和模块化操作。
• 高可靠性：多主多从的去中心化架构，原生支持横向扩展。
• 性能强大：性能比其他编排平台快N倍，每天可支持千万级任务。
• 云原生：DolphinScheduler支持编排多云/数据中心工作流，支持自定义任务类型。
• 高扩展性：支持多租户和在线资源管理。支持每天10万个数据任务的稳定运行。

海豚调度使用Python编写API接口有什么好处？

经常使用ETL工具的同学应该都知道，调用API接口可以用里面HTTP的插件进行对接。然而在数据安全性要求越来越高的今天，API方通常都会在请求参数里面添加自定义加密算法加密后的参数，普通的HTTP插件已经无法满足接口安全性的需求。

面对复杂的加密算法，使用一门编程语言来编写无疑是不二之选，至于为什么使用Python来编写，有以下几个理由：

1. Python简单易上手，生态丰富。
2. 只需要一个py文件就能在DolphinScheduler被直接调用，无需复杂的语言环境以及安装部署。
3. API接口通常都会有Python版的样例代码，加密算法甚至可以直接引用，更加便于开发者开发。

2.0.5 版本更新之后，Apache DolphinScheduler 新增了 Python API 功能，用户可以通过 Python 脚本编排工作流，最后实现工作流的创建、更新、调度等操作，这给 Python 用户带来了很多便利。

具体实操步骤

1、在创建工作流的时候拖出Python插件，填写节点名称，以及写入对应的Python脚本（图中资源栏的python文件需要在第2点中上传）。

2、资源中心的文件管理可以上传py文件作为资源，供第1点创建工作流的时候使用（第1点中import的文件就是文件管理中的资源）。

-End-

如果企业有任务调度需求的场景，可以尝试使用DolphinScheduler，丰富的任务类型可以满足我们实际场景下复杂的逻辑。

以上的内容，我相信能够解决大家日常工作遇到对于DolphinScheduler使用Python调用API接口的问题。如果您想要进一步了解DolphinScheduler，或是需要技术专家的培训服务，又或者想要咨询技术相关问题，都可以和我们交流。

同时，迅易科技在企业数据开发方面拥有多年的最佳实践经验，已经服务广酒、立白、美赞臣等头部客户，通过开发治理一体化的方式，帮助企业充分挖掘数据价值，更多内容欢迎前往迅易科技官网了解~