阿里云DataWorks

一、概述

DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。

 

DataWorks支持多种计算和存储引擎服务，包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算（基于Flink）、机器学习PAI、图计算服务Graph Compute和交互式分析服务等，并且支持用户自定义接入计算和存储服务。DataWorks为您提供全链路智能大数据及AI开发和治理服务。

 

您可以使用DataWorks，对数据进行传输、转换和集成等操作，从不同的数据存储引入数据，并进行转化和开发，最后将处理好的数据同步至其它数据系统。

 

• 全面托管的调度

DataWorks提供强大的调度功能，详情请参见调度配置。

支持根据时间、依赖关系，进行任务触发的机制。详情请参见配置时间属性和依赖关系。

支持每日千万级别的任务，根据DAG关系准确、准时地运行。

支持分钟、小时、天、周和月多种调度周期配置。

完全托管的服务，无需关心调度的服务器资源问题。

提供隔离功能，确保不同租户之间的任务不会相互影响。

DataWorks支持离线同步、Shell、ODPS SQL、ODPS MR等多种节点类型，通过节点之间的相互依赖，对复杂的数据进行分析处理。

数据转化：依托MaxCompute强大的能力，保证了大数据的分析处理性能。

数据同步：依托DataWorks中数据集成的强力支撑，支持超过20种数据源，为您提供稳定高效的数据传输功能。详情请参见数据集成和支持的数据源与读写插件。

 

• 可视化开发

DataWorks提供可视化的代码开发、工作流设计器页面，无需搭配任何开发工具，简单拖拽和开发，即可完成复杂的数据分析任务。详情请参见界面功能点介绍。

只要有浏览器有网络，您即可随时随地进行开发工作。

 

• 监控告警

运维中心提供可视化的任务监控管理工具，支持以DAG图的形式展示任务运行时的全局情况，详情请参见运维中心。

您可以方便地配置各类报警方式，任务发生错误可及时通知相关人员，保证业务正常运行。详情请参见智能监控。

 

• 与MaxCompute的关系

DataWorks就是基于MaxCompute的PaaS平台，可以简单理解为DataWorks是一个web形式的开发管理工具，而MaxCompute作为存储计算引擎，扮演了IaaS层支撑的角色。我们可以通过DataWorks来用MaxCompute。

 

MaxCompute 和DataWorks一起向用户提供完善的ETL和数仓管理能力，以及SQL、MR、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。

Maxcompute中的盘古就相当于Hadoop中的HDFS；

Maxcompute中伏羲就相当于Hadoop中的Yarn;

Maxcompute中MaxCompute Engine 就相当于Hadoop中的MapReduce。

 

二、使用流程

作为一站式数据工场，可以通过拖拽图标的方式部署工作流程，并很方便地进行任务调度

• 数据采集

数据采集组件可以完成多种数据源的采集连通，有向导模式和脚本模式

• 计算引擎

工场提供多种计算引擎，如hive，spark，mr等

• 可视化运维

提供上下游关系梳理、运行日志、补数据等完善的任务运维。

• 数据资产管理

包括元数据管理、数据血缘、数据资产大图等。

• 数据质量

数据质量探查、监控、校验和评分体系。

• 数据安全

数据权限管理，数据的分级达标、脱敏、以及数据的审计。

• 其他

也可以很方便地配置BI可视化和机器学习算法

---

总结

Dataworks作为一款易用的大数据平台级产品，特别适合中小企业低成本快速建立大数据业务！