ADBPG&Greenplum 成本优化之磁盘水位管理

一 背景描述

目前，企业的核心数据一般都以二维表的方式存储在数据库中。在核心技术自主可控的大环境下，政企行业客户都在纷纷尝试使用国产数据库或开源数据库，尤其在数据仓库OLAP领域的步伐更快，Greenplum的应用越来越广泛，阿里云ADB PG的市场机会也越来越多。另外，随着近年来数据中台的价值被广泛认可，企业建设数据中台的需求也非常迫切，数据中台的很多场景都会用到Greenplum或ADB PG。因此，今年阿里云使用ADB PG帮助很多客户升级了核心数仓。我们发现，客户往往比较关注使用云原生数仓的成本。究竟如何帮助客户节约成本，便值得我们去探索和落地。

ADB PG全称云原生数据仓库AnalyticDB PostgreSQL版，它是一款大规模并行处理（MPP）架构的数据库，是阿里云基于开源Greenplum优化后的云原生数据仓库，因此本文探讨的成本优化方法也适用于Greenplum开源版。图1是ADB PG的架构示意图（Greenplum亦如此），Master负责接受连接请求，SQL解析、优化、事务等处理，并分发任务到Segment执行；并协调每一个Segment返回的结果以及把最终结果呈现给客户端程序。Segment是一个独立的PostgreSQL数据库，负责业务数据的存储和计算，每个Segment位于不同的独立物理机上，存储业务数据的不同部分，多个Segment组成计算集群；集群支持横向扩展。从架构上很清楚，节约Greenplum的成本，最重要的是要尽可能节约Segment的服务器数，但既要保证整体MPP的算力，也要能满足数据对存储空间的需求。通常，数据仓库中的数据是从企业各个领域的上游生产系统同步而来，这些数据在分析领域有生命周期，很多数据需要反应历史变化，因此数据仓库中数据的特点是来源多、历史数据多、数据量比较大。数据量大，必然消耗存储空间，在MPP架构下就是消耗服务器成本。帮客户优化成本，节约存储空间是首当其冲的。

图1：ADB PG的架构示意图

下面，我们将通过一个实际的磁盘空间优化案例来说明，如何帮助客户做成本优化。

二 ADB PG & Greenplum的磁盘管理简介

1 ADB PG磁盘管理的关键技术点

ADB PG是基于Greenplum（简称“GP”）内核修改的MPP数据库，对于磁盘空间管理来讲，有几个技术点与Greenplum是通用的：

（1）业务数据主要分布在Segment节点；

（2）Segment有Primary和Mirror节点，因此，业务可用空间是服务器总空间的1/2；

（3）Greenplum的MVCC机制，导致表数据发生DML后产生垃圾数据dead tuples；

（4）复制表（全分布表）会在每个Segment上存储相同的数据拷贝；分布表会根据分布键打散存储数据到各个Segment。

（5）Greenplum有Append Only类型的表，支持压缩存储，可以节约空间；当然用户访问时，解压缩需要时间，所以需要在性能和空间之间取得平衡。

云原生数据库的特点是不再单独提供数据库存储和计算的内核，也会配套运维管理平台，简称“数据库管控”。搞清楚ADB PG磁盘管理原理后，我们需要了解数据库管控在磁盘水位管理方面的设计。

2 数据库管控的磁盘预留机制

我们看下某数仓实验环境的各个Segment节点的磁盘占用示意图。

图2：Segment维度的磁盘占用示意图

上图第一个百分比是Segment所在物理机的磁盘使用百分比；第二个百分比是数据库管控的磁盘使用百分比。管控的数据为啥要跟服务器实际占用不一致呢？其实就是水位管理中第一个很重要的预防性措施：空间预留。即，ADB的管控在创建Segment实例时，根据服务器的空间，进行了一定的预留，占比大概是12%，即20T的服务器，管控认为业务最大可用17.6T，这个逻辑会通知监控系统。所以计算磁盘占比时，监控系统的分母不是20T，而是17.6T。这是第一级保护措施。

预留空间，还有重要的一点原因是数据库本身有WAL事务日志、错误日志等也占用空间。因此，磁盘的空间有一部分需要给日志使用，客户的业务数据无法使用100%的服务器空间，这就是为何图2中，会显示两个空间百分比的原因。

3 数据库管控的“锁定写” 保护机制

第二级保护措施是“磁盘满锁定写”。在17.6T的基础上，管控并不让业务完全写满，写满容易造成数据文件损坏，带来数据库宕机及无法恢复的灾难。因此，这里有第二个阈值，即当磁盘写到90%时，数据库管控的自动巡检任务会启动“锁定写”的操作，此时所有请求ADB的DML都会失败。这是一个重要的保护机制。如下图3所示，如果达到阈值，会提示“need to lock”。 阈值可以配置，如果磁盘空间紧张，可以根据实际情况适当调大阈值。

图3：数据库管控的自动化锁盘日志示例

以上数据库管控的两个机制可以有效保障磁盘在安全水位下运行。这些设计，是我们做成本优化的基础，磁盘的成本优化意味着服务器的磁盘尽可能物尽其用。节约磁盘空间，就必须要在相对较高的磁盘水位运行（这里是指数据量确实很大的情况），因此，磁盘有效管理，及时的问题监控发现的机制非常重要。

三 磁盘空间优化方案

下面我们以某客户的案例来说明磁盘空间优化方法。该客户数据仓库中的数据（含索引）大于1.5PB，但客户一期为ADB数仓采购了40台机器，约800T总容量。客户明确要求阿里云需要配合业务方做好数仓设计，帮其节约成本。客户把成本优化的KPI已经定好了，需要阿里云通过技术去落实。我们协同业务方在设计阶段做了一些预案，技术上主要从表压缩和冷热数据分离的角度去做考虑；业务上，让开发商从设计上，尽量缩减在ADB中的存量数据。最终，开发商预估大概有360T左右的热数据从旧的数仓迁移到ADB。上线前，开发商需要把必要的基础业务数据（比如贴源层，中间层），从DB2迁移到ADB PG。迁移完成，业务进行试运行期，我们发现空间几乎占满（如图2）。空间优化迫在眉睫，于是我们发起了磁盘空间优化治理。图4是磁盘空间治理优化的框架。

图4：磁盘水位优化框架

接下来，我们展开做一下说明。

1 表的存储格式及压缩

表的压缩存储可以有效保障客户节约存储空间。Greenplum支持行存、Append-only行存、Append-only列存等存储格式。若