建行数据从Teradata迁移到Greenplum大揭秘

了解更多Greenplum技术干货，欢迎访问Greenplum中文社区网站

​绿树阴浓夏日长 ，楼台倒影入池塘。又是一年盛夏了，忽然想起了三年前的盛夏，和一帮建行的兄弟们在机房挥汗如雨，加班加点搞“迁移长征”的场景。

建行的数据平台从Teradata迁移到Pivotal Greenplum（现VMware Greenplum）挺早之前就开始了，本文所说的就是Teradata迁移到Greenplum第一期，从2016年的12月开始筹划，2017年3月算是正式开始，2017年9月迁移完成，2017年11月上层应用系统正式切换。

由于当时是第一次做这种大型的迁移，行内没有过先例，业界也没有找到这么大规模迁移的案例。里面有多少坑、要多久、需要多少人，完全没有个参考。所以当时中心领导和处室领导决定先找个团队做个一期项目，趟出一条路，产出一些迁移工具、迁移经验、迁移的方法论，为后面的迁移寻找最快路径。

最终这个一期的迁移派到了P9平台团队。建行的P9平台团队是专注于以技术服务仓库、数据线各项目的，技术上有沉淀、有积累，但对数据模型、仓库内加工的应用不是很熟悉。所以当时接到这个任务时，有点“风萧萧兮易水寒”的感觉，但对即将到来的挑战也是充满期待的，毕竟这种迁移怎么说也是业内首次，做好了就是业内领先，甚至国际领先嘛，所以我们当时的内心还是蛮激动的。今天我们将为大家逐一揭秘迁移的整个过程。

第一部分 何以一年完成海量数据“长征”

一、为什么要迁移

建行的数据平台为什么要进行Teradata到Greenplum的迁移？这个问题的答案主要来自以下两个方面：

1.新一代要求的开放性

由于Teradata采用一体机，且系统相对封闭，不符合新一代建设原则，所以需要寻找基于x86的开放数据处理产品。经过充分的调研、选型测试、专家评审，最终确定新一代大数据处理产品采用Pivotal Greenplum。

2.当时现状

由于前面的原因，决定了建行后期不会再大规模采购Teradata数据库，但数据建设的需求却不会停，在迁移开始之前，建行的两套Teradata库里面跑了大几十个系统，各个系统不断的在增加数据接入、数据加工任务，所以导致Teradata的负载压力越来越大，上面跑的应用加工经常发生延迟、跑不动，尤其是上线时候，更是亚历山大！

在迁移开始前，像反洗钱这样的复杂系统，时常发生报送延迟的情况，严重的时候甚至延迟到一周以上。改善反洗钱监管报送时效性刻不容缓。在这样的背景下，中心和处室领导，决定开始Teradata迁移Greenplum的“长征之旅”。

二、如何迁移

首先，还是要明确要做什么，到底迁移哪一些。 当时领导选择了反洗钱作为迁移工作的第一期，因为当时反洗钱延迟影响比较大，又是比较重要又比较复杂的系统，如果迁移完成，既能提升反洗钱系统的时效性，又能大量减轻Teradata数据库压力！为了能够更加彻底达到迁移的效果，我们选择了从源数据接入、仓库各层加工、反洗钱基础数据加工一整条线整体迁移的方案。