阿里云大数据组件零碎点总结（不定时更新）

最新推荐文章于 2025-05-11 13:10:46 发布

Song_MJ

最新推荐文章于 2025-05-11 13:10:46 发布

阅读量5.9k

点赞数 4

分类专栏：阿里云数据库大数据文章标签：大数据数据库云计算服务运营

本文链接：https://blog.csdn.net/yiqiu3812/article/details/107098502

版权

本文档总结了阿里云的多个大数据组件，包括ADS、ODPS、DMS、OTS等，涵盖了各组件的简介、功能、权限管理、数据处理特性和使用注意事项，旨在提供一个全面的大数据组件知识框架。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

阿里云组件的更新频率很快，存在部分内容描述与现版本不一致的情况，最新版本特性请参考阿里云官方文档。

阿里云官方帮助文档链接：https://help.aliyun.com/

阿里云各组件简介：https://blog.csdn.net/yiqiu3812/article/details/107076659

1 ADS

1.1 简介

云原生数据仓库AnalyticDB MySQL版（简称ADB，原分析型数据库MySQL版），是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。

云原生数据仓库AnalyticDB又称ADB又被称为ADS，以下仅用ADS。

1.2 UPDATE_TYPE相关

UPDATE_TYPE可设置数据的更新方式，可设置为batch（批量更新数据）和realtime（实时更新数据），默认值是batch，当设置为batch时，如果支持增量导入，必须指二级分区。

UPDATE_TYPE=realtime时必须指定主键并且不能有二级分区。

UPDATE_TYPE=realtime时只能通过insert/delete实时更新数据，注意不能进行update操作。

1.3 ECU相关

弹性计算单元（Elastic compute units，简称ECU），是ADS中实例计算能力的元单位。ECU由内存容量和磁盘容量组成。ADS有高性能和大存储两种ECU。

高性能ECU：以字母C或者H开头的ECU为高性能实例，数据存储在SSD中。适用对性能要求高、查询并发高的业务场景。

大存储ECU：以字母S开头的ECU为大存储实例，采用SSD/HDD分层存储，热点数据存储在SSD中，冷数据存储在HDD中。适用并发稍低、性能要求不高（查询响应时间超过10秒以上）的场景。

用户可通过DDL语句alter database set ecu_count=N来修改ECU的个数。

注意：扩容或者缩容不是瞬间的同步操作。一个ADS库不可以同时使用两种类型的ECU。

1.4 最终一致性

ADS进行实时插入和删除时，不支持事务，并且遵循最终一致性的设计，所以分析型数据库不能作为OLTP系统使用。注意是最终一致性而不是会话一致性。

当updatetype=realtime时，对于不同主键数据的多次变更，ADS不保证先执行的变更会比后执行的变更优先查询到。由于遵循最终一致性，所以当业务端暂停数据写入的若干时间后，ADS会保证数据的一致性。对于同一主键数据的多次变更，ADS会遵循ADS返回语句执行成功的顺序进行。

1.5 分布式策略

ADS中数据根据分区列进行分布式的存储和计算。

1.6 逻辑计划节点

SelectNode表示这个select中最终输出表达式的相关信息，例如select要输出的表达式集合。

GroupNode表示Group By语句的相关信息，例如group by的列，having的表达式等。

OrderByNode表示Order By的列信息，例如列名，顺序等。

JoinNode表示逻辑Join树的信息，例如join的on条件。

TableNode表示分区表的信息，例如参与计算的列，表名等。

注意，ExecutorNode不属于逻辑计划节点。

1.7 聚集列相关

在分析型数据库MySQL版中，数据存储支持按一列或多列进行排序（先按第一列排序，第一列相同情况下使用第二列排序），以保证该列中值相同或相近的数据保存在磁盘同一位置，这样的列我们称之为聚集列。

当以聚集列为查询条件时，由于查询结果保存在磁盘同一位置，可以减少输入/输出I/O（Input/Output）次数。分析型数据库MySQL版中主聚集列只有一列，因此需要选择最合适的列作为主聚集列。

创建表的时候可以指定一列或者若干列作为聚集列，用户的Query的条件中会指定聚集列的内容或者范围，那么这样的查询性能便会有较大的提升，一个分区内聚集列内容相同的数据会尽可能的分布在相同的区块内存。

需要注意的是聚集列在建表后修改，修改后DB不会在后台自动刷新数据，修改后要等到下次装载数据完毕后生效。

聚集列能智能提升查询性能。

1.8 索引

智能自动索引会自动为导入数据的每一列创建符合该列情况的索引类型，无需用户显示指定创建索引或者索引类型。

1.9 多值列

多值列用于表示一个列中（Cell）有多个不确定的值，一个多值列字段可以包含多种ADB支持的数据类型。一个表中可以定义一个或多个多值列，多值列可以作为筛选条件，也可以进行分组或者参与连接过滤等。

多值列支持in、contains等查询。

ADS的多值列，不允许在不经由WHERE子句中用IN/CONTAINS进行枚举筛选的情况下直接在SELECT/GROUP BY中使用。

1.10 优化策略

ADS的高度智能优化策略是CBO，ADS分析型数据库拥有高度智能的CBO（Cost Based Optimization）优化策略。

1.11 连接方式

ADS支持使用版本为5.4系列的mysql-jdbc驱动、支持安装了php-mysql-5.1.x模块的php环境、支持mysql5.6的客户端、支持用户管理控制台中的DMS、支持Navicat、DBeaver、DBVisualizer、SQLWorkBeanch/J、BI可视化工具、MySQL命令行工具连接ADS集群。也可以通过配置集群连接地址、端口、数据库账号等信息连接地址端口、数据库账号等信息连接ADS。