基于开放共享的自主研发—MaxCompute 持续增强生态与开放性建设

MaxCompute产品与生态架构

MaxCompute是一个具有先进架构的Serverless云数据仓库，自从商业化后，使用的用户涉及各个行业的头部客户。在生态上需要支持主流的开源产品以及阿里云云产品。其主要包括以下几个方面：

• 数据接入生态。目前官方提供多种数据接入方式，可以接入绝大多数的数据库，NOSQL库，消息队列，日志等业务系统。
• 数据引擎生态。MaxCompute除了自身支持SQL引擎，Spark，mars，Graph等，还支持第三方引擎平台接入，例如实现底层直读Hologres引擎，PAI人工智能平台，智能搜索，智能推荐等。
• 数据开发管理工具生态。MaxCompute除了官方推出的Dataworks以外，还支持开源的Kettle，Airflow以及Azkaban平台，对数据进行开发治理调度等操作。
• 数据湖生态。MaxCompute除了可以计算自身存储数据，还可以联合mysql等关系型数据库，Hbase，TableStore，Lindorm等NoSQL数据库，DLF+OSS对象存储，HDFS和HUDI等大数据文件系统做联合计算。
• 数据应用生态。目前除了可以直接接入QuickBI官方数据BI平台，同时也支持市面主流的开源和商业化BI数据分析工具，例如Superset和Tableau等。

MaxCompute产品生态架构

MaxCompute产品生态

数据接入生态

MaxCompute官方提供DataWorks数据集成，可以支持几十种数据集成接入或者数据导出。同时也支持主流的时实Kafka，Datahub数据直接写入；也支持SLS日志直接写入。

DataWorks数据集成

提供数据读取（Reader）和写入插件（Writer）实现对数据源的读写操作，您可以根据要同步的来源与去向数据源，并结合离线同步支持的数据源情况，进行同步任务的配置。离线同步支持单表的增量与全量数据读写、分库分表的增量与全量数据读。也可以支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步，还可以支持多种数据源之间进行不同数据同步场景（整库离线同步、全增量实时同步）的同步解决方案。

数据集成为MaxCompute提供丰富的数据通道，方便用户直接接入数据或者导出数据。详细操作请点击。

DataHub

DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布 (Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用软件，网站服务，传感器等产生的大量流式数据进行持续不断的采集，存储和处理。用户可以编写应用程序或者使用流计算引擎来处理写入到数据总线 DataHub的流式数据比如实时Web访问日志、应用日志、各种事件等，官方已经深度集成DataHub数据写入MaxCompute。详细操作请点击。

消息队列Kafka版

消息队列Kafka版是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列Kafka版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为MaxCompute大数据生态中不可或缺的部分，用户可以方便的通过Kafka把数据写入MaxCompute。详细操作请点击。

日志服务SLS

日志服务SLS是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。用户可以方便快捷的把数据从SLS写入MaxCompute。