迁移实战：一次AntDB（基于pgxl分布式架构的数据库）数据库迁移经验分享

墨墨导读：AntDB是一款基于PG内核的分布式数据库。根据AntDB官方介绍，该数据具备持续的集群自动高可用，秒级在线扩容，强大的Oracle兼容，异地容灾，sql语句级自定义分片，分布式事务和MVCC，是一款非常强大的企业级国产分布式数据库。由于AntDB在使用过程中，与pgxl很相近，所以本文对pgxl的情况下有一定的帮助。

一、前言

AntDB是一款基于PG内核的分布式数据库。根据AntDB官方介绍，该数据具备持续的集群自动高可用，秒级在线扩容，强大的Oracle兼容，异地容灾，sql语句级自定义分片，分布式事务和MVCC。是一款非常强大的企业级国产分布式数据库。其架构如下（本图参考网络图片）：

在当前的情况下，大部分企业关心的是如何将Oracle数据库迁移到mysql数据库、postgresql数据库等开源及国产数据库中。而很少关注这些开源及国产数据库本身的迁移与升级。

由于AntDB在使用过程中，与pgxl很相近，所以本文对pgxl的情况下应该还是有一定的帮助。

二、背景

最近，某客户现场需要将其之前使用的AntDB进行升级。由于本次升级，涉及的版本不同、节点数量不同。因此，综合考虑只能选用逻辑的方式完成本次数据库的迁移和升级。

三、迁移思路

Postgresql中，我们可以通过pg_dump和pg_restore进行逻辑导入和恢复。但是在本次迁移中，源AntDB存放的表数量以及数据量都非常大（表数量基本由22w张，数据量大约有46T）。所以，如果使用pg_dump和pg_restore的方式，其效率将会非常低。

因此，我们则选择使用postgresql中的copy的方式进行迁移。COPY是PostgreSQL中表和标准文件系统文件之间交换数据的方式，可以理解为直接将文件系统文件中的数据直接装载到数据库中，而不是传统的通过insert语句方式逐条插入数据。因此，在postgreSQL中，通过COPY的方式，将会使数据导入更快。

四、迁移步骤

AntDB的迁移总体分为两个步骤：
1）表结构迁移
2）数据迁移

接下来，我将分别分享这两个步骤中的迁移经验和遇到的问题。

1. 表结构迁移

在本场景的迁移过程中，由于源端是基于PostgreSQL 9.6的数据库，目标端是基于PostgreSQL 11.6的数据库。而9.6和11.6两个大版本数据库中很多特性又是不同的，故也为迁移造成一些难度。其中，在本场景中最重要的就是分区表。

PostgreSQL 9.6数据库中，并没有分区表的概念，其分区表则主要是通过继承表+触发器来实现的，表数据是根据触发器条件来写入到不同子表中的；

PostgreSQL 11.6数据库中则加入了分区表的概念，可以直接创建基于基表的分区表，数据可以根据分区键条件插入到各自的分区中。

那么在迁移中遇到的一个难点就是：如何将9.6中的父表、子表的关系转换成11.6中的分区表。

在postgreSQL中，我们无法像Oracle里面的get_ddl函数一样，获取表的创建语句。但是，我们可以通过pg_dump的方式，将PosgreSQL中的表结构导出，生成SQL语句。

因此，我们首先需要从源端数据库中找出分区表和非分区表，通过以下SQL就可以在PostgreSQL中找到分区表和非分区表。

查询分区表有哪些：

select distinct p.relname fq_table
from pg_class p,pg_inherits i
where p.oid=i.inhparent and reltype<>0 order by fq_table;

查询非分区表有哪些：

select table