hdfs 数据迁移_Hadoop集群跨数据中心迁移实践

文|张翼 李海强 徐杰 王聪 张勋祥

01

综述

古语有云：“三军未动，粮草先行。”从战略布局的角度来看，大数据平台的建设与发展亦是如此，想要构建服务全集团的大数据综合平台，提升平台服务能力，机房容量“粮仓”至关重要。

近年来，随着零售大数据Hadoop集群的快速增长，已是负重前行的保税区机房的设计容量日渐难以承载，扩建或新建机房势在必行。经领导层决议，基于大数据未来3年的发展需求和多维度推演、论证，新建东莞数据中心，设计容量4000台，并制定Hadoop集群迁移计划。

本次迁移历时一年之久，涉及银行部门之多，从大数据到科技运营，以及业务方，甚至还牵扯供应商，以项目管理的角度来看并非易事，可以说是一个大工程。然而，工程再大，对平安人来说都是使命必达，不待扬鞭自奋蹄。自2019年下半年开始，从数据中心建设，到设备采购，再到迁移方案探讨、迁移步骤整理、演练，最后在团队的共同努力下顺利完成迁移。

02

迁移方案

好事需多磨，梅香自苦寒，迁移方案的制定并非一帆风顺，一日之功。前期脑暴，最初初步确定了3个方案；随后，从方案推演到逐一细节论证，多次修改，最终，我们选择了可行性最高且最有把握的一个。第一个方案是常规物理搬迁。拿到迁移任务之初，我们首先想到的就是最简单粗暴的物理搬迁，即把服务停掉，机器下架，装车运往东莞数据中心，机器重新上架，配置网络，恢复服务。然而，看似简单的方案，却充满了不确定性。首先，停服1～2天，业务必受影响，业务方能否接受。其次，机器搬运过程中难免会有物理损坏，数据是否会丢失，丢失了是否能恢复。再次，假使前两点都不再是问题，东莞数据中心顺利重新上架机器，恢复服务，但是否会出现新的问题影响服务效果和质量。如果出现严重问题导致服务不可用，回退的可能性为零，就算硬着头皮解决问题，也势必要影响业务开展，最重要的是，我们很难评估会对业务造成怎样的影响。最后，因不确定性太多，且可能造成不可挽回的损失，这个方案一开始就被否决。第二个方案是和Cloudera公司合作，采用最新的CDH 6.3版本建设新机房。这样的方案下，Hadoop会从2.6升级到3.0，Hive从1.1升级到2.1，Spark从2.3升级到2.4。然而，版本