DataWorks产品架构

概述

DataWorks提供九个核心功能模块：以数据为基础，以全链路加工为核心，提供数据汇聚、研发、治理、服务等多种功能。既能满足平台用户的数据需求，又能为上层应用提供各种行业解决方案，整体功能架构如下图所示。

产品架构

数据集成：全领域数据汇聚

数据集成（Data Integration）是提供了可跨异构数据存储系统能力、可靠、安全、低成本、可弹性扩展的数据同步平台。

目前数据集成主要支持数据批量（离线）、增量两种同步方式，并提供整库迁移和批量上云等解决方案。数据集成提供的批量创建同步任务的快捷工具，能让您快速将单个或多个数据库内所有表批量上传到MaxCompute中，节省大量时间与人力成本。

数据开发：数据融合加工

DataWorks的数据开发提供SQL格式化、智能补齐、关键字高亮、错误提示、SQL内部结构等人性化功能。

数据开发支持用户自行组合SQL、MR、Shell、实时计算和PAI机器学习各类任务的混编工作流，并实现分钟级调度、逻辑控制和上下游传参。

数据分析：即时快速分析

数据分析功能为DataWorks本身的查询结果、本地Excel文件、MySQL等常见数据源提供快速灵活的透视分析能力。基于OLAP引擎Hologres，数据分析可以为您提供庞大数据量分析的加速能力。

在DataWorks中查询结果后，单击数据分析，即可跳转至数据分析页面。

数据质量：全流程的质量监控

数据质量帮助您第一时间感知到源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。

数据质量以数据集（DataSet）为监控对象，支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，以便您对数据质量进行分析和定级。详情请参见数据质量。

智能监控：保证数据供给稳定

智能监控（Intelligent Monitor）是DataWorks运维监控中负责任务运行监控及分析的系统。

根据监控规则和任务运行情况，智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控可以筛选关键依赖、对比实时关键路径，最终自动选择最合理的报警时间、报警方式以及报警对象，辅助您的决策优化。

说明 DataWorks基础版不支持智能监控中的基线管理和事件管理。

数据地图：统一管理，跟踪血缘

数据地图以数据搜索为基础，提供表使用说明、数据类目、数据血缘、字段血缘等工具，帮助数据表的使用者和拥有者更好地管理数据、协作开发。

数据资产管理（仅专有云）

业务系统及数据资源平台中存在大量的数据表、API等各类数据资产，数据管理者通过数据集成同步数据、数据开发加工数据后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。

数据安全：为数据保驾护航

DataWorks的数据安全功能针对数据资产管理，提供数据识别、敏感数据发现、数据分类分级、脱敏、访问监控、风险发现预警与审计能力。

数据服务：低成本快速发布API

数据服务不仅支持您将现有的API快速注册到数据服务平台以统一管理和发布，通过与阿里云API网关（API Gateway）打通，还支持您将API服务一键发布至API网关。您只需关注API本身的查询逻辑，无需关心运行环境等基础设施。数据服务会为您准备好计算资源，并支持弹性扩展，实现零运维成本。

在您通过图形化界面完成API发布后，数据服务还能自动为您生成API文档，并且实时更新文档。

数据应用开发：轻松构建数据应用

DataWorks通过App Studio实现数据应用开发功能。

App Studio是一款数据开发工具。您无需下载、安装本地IDE和配置环境变量，只需一个浏览器即可编写、运行和调试应用程序，体验和本地IDE一样的编程效果，在线发布应用。App Studio提供了丰富的前端组件，通过自由拖拽，即可简单快速搭建前端应用。

多租户模型：更直观的权限管控

DataWorks拥有自己的多租户权限模型。

• 针对计算和存储资源，租户可以按需申请资源配额，独立管理自己的资源。
• 针对数据，租户可以独立管理自有的数据、权限、用户、角色，实现与其他租户间彼此隔离，确保数据安全。

工作空间管理（公共云）与平台管理（专有云）

工作空间作为代码管理、成员管理、角色和权限分配的基本单元，每个团队都可以具有独立的工作空间。

您只有在加入工作空间并被分配权限后，才具备查看代码、编辑代码、代码发布申请、代码审批执行等权限。