GBase 8a MPP替换某国外数仓产品方案

一、 迁移内容
Netezza 迁移到 GBase 8a MPP Cluster 一般涉及到的工作内容主要包括三类：数据库对 象迁移、数据迁移和业务迁移。

1、 数据库对象迁移：从 Netezza 导出 DDL 脚本，按照 GBase 8a MPP Cluster 语法批 量修改脚本，确保在
GBase 8a MPP Cluster 中成功创建对象表。 2、数据迁移：在 Netezza
数据库中，按规定十六进制分隔符及字符编码将历史数据通 过创建外部表 CREATE EXTERNAL TABLE 或者使用 nzsql -c
“select * from tb” 方式导出 成文本文件，借助 GBase 8a MPP Cluster load 装载工具加载数据入库。
3、业务迁移：该阶段将 Netezza 的存储过程，按照 GBase 8a MPP Cluster 的存储过程
的语法进行转换，转换过程中根据函数对照表替换函数，不支持的函数等，需要手动进行改写。

二、迁移流程
在进行 Netezza 迁移工作时，可以参考如下流程开展迁移。

1、 采集原数据：统计原数据及磁盘空间使用情况； 2、 导入表结构：根据 Netezza 表结构，创建 GBase 8a MPP
Cluster 库及表结构； 3、 数据分类：统计 Netezza 数据库中表的数据量（select count 方式），并按照数据
量大小分类； 4、 原数据导出：根据第 3 步统计的表，对于 Netezza 数据库中的数据，按批次导出文 本文件，并指定服务器进行存放；
5、 数据加载：通过 load data infile 方式将导出的数据文本文件加载到 GBase 8a MPP Cluster 数据库中；
6、 数据验证：通过创建存储过程，建立统计表，对原数据及新数据进行数据校验对 比，确保 GBase 8a MPP Cluster 数据与
Netezza 数据一致； 7、 增量数据导入：全量数据导入后，根据项目时间点确认增量数据并导入，进行数据校验。