数据平台与Flink任务运行原理介绍

本文将从5个方面详细介绍数据平台大数据任务开发的基础知识。包含数据平台的简介、如何在平台内创建Flink表、如何编写Flink大数据处理作业、Flink任务启动时的调用流程以及Flink web UI 任务监控页面。此外，将重点介绍数据平台内Flink任务开发相关的部分内容，包括Flink数据连接、Flink流作业、批作业和资源库。资源库为自定义的UDF，为了方便介绍后续将统一简称为平台。

云智慧AIOps社区是由云智慧发起，针对运维业务场景，提供算法、算力、数据集整体的服务体系及智能运维业务场景的解决方案交流社区。该社区致力于传播AIOps技术，旨在与各行业客户、用户、研究者和开发者们共同解决智能运维行业技术难题、推动AIOps技术在企业中落地、建设健康共赢的AIOps开发者生态。

数据平台

• 平台定义

平台基于Flink计算框架，集成Kafka、Clickhouse等大数据组件，具备数据采集、数据同步、数据存储、实时计算、离线计算、数据治理、数据服务等能力。实践平台化思维，充分利用数据，可实现复杂业务的数据开发任务，构建了一套完整的技术生态体系。

• 平台目标

定位为实时数仓、流批一体、湖仓一体的智能大数据平台，提升整体的IT运营服务能力。

Flink数据连接

Flink数据连接是Flink读取和写入到web系统数据库的一个接口。下图为Flink 数据连接的一个页面，左侧的为目录数，方便数据源的归类与查找。右侧列表化展示数据连接，可根据数据连接的名称、类型、标签等内容进行检索，支持导入、导出与复制，方便做迁移和备份编辑。右上