如何快速搭建一个高可用的数据处理流水线？

ASW 应用与服务编排工作流是腾讯云服务的编排工具，用户可以将多个云服务编排到业务场景相关的应用程序中，可以通过 ASW 工作流编排分布式任务，管理执行任务的顺序、错误处理、重试逻辑和状态，从而显著减轻团队的研发负担。

通过 ASW Map 并发能力编排调用云函数，完成批量数据的处理，并将结果写回存储，提供开箱即用、灵活便捷、高弹性高可用的数据处理系统模型。尤其适合证券交易数据统计，电商系统商品订单数据分析，微博热点分析等大数据分析场景。本文为您介绍如何使用 ASW 编排云函数，快速搭建一个高可用的数据处理流水线。

01. ASW 工作流优势

• 弹性高并发：工作流并发调用云函数可以快速调动大量计算资源加速数据处理。
• 自定义流程：ASW 工作流可以实现高度自定义的工作流流程，例如数据处理流程、数据分析算法、数据存储方式。
• 降低成本：数据处理是 CPU 密集型，在 ASW 工作流及云函数的资源利用率高的情况下，实现了成本的降低。
• 提升效率：降低学习和使用成本，极大程度上缩短了项目周期，加快开发部署。

02. 系统架构

使用 ASW 创建编排云函数，先完成业务鉴权等预处理操作，然后通过 Map 并发函数读取数据，进行数据处理，将处理后的数据存储到云端数据库。同时，批量处理的数据可以直接给发送到图表与模型分析中。