大数据集群迁移方案

背景

• 当前集群满足不了日益增长的业务量级，并且需要一套全新集群，并且后续的扩充依据新集群展开，此次集群迁移是将所有数据，服务，业务线全部迁移，围绕着新老集群展开，老集群保证线上无误的情况下进行迁移，具体细则展开在下文以及后续；

整体规划

• 新集群重装，涉及的量比较大，优化等等；
• 保证线上与新集群同时运行；
• 数仓迁移，HBase数据迁移，部门之间调用配置修改等；
• 中间件集群不变，但是机架更换只与服务有关；
• 服务迁移；

集群搭建

• 按照原服务无改变，不包含中间件ES，Druid，Clickhouse，neo4j，Superset；

数据迁移

• 数仓数据迁移；
  • Max Well开启后关闭记录实时业务库偏移量，迁移HDFS数据，只需要迁移ODS、DIM、DM数据即可，迁移完成后部署项目，建表，部署RDS，DW等；
  • 具体过程
    1. 保证线上不动；
    2. 开启新集群MaxWell并关闭，记录偏移量；
    3. 开启Streaming记录偏移量；
    4. 开始进行HDFS数据迁移，使用Hadoop内部命令即可；
    5. 开启MaxWell、Streaming；
    6. 部署数仓；
• HBase数据迁移；
  • HBase接入实时流并关闭记录偏移量，导入HBase虚拟快照与HDFS，开启实时流；

服务迁移

• 变量系统、数据平台、乾坤等按照不同业务属性进行迁移，具体用展开，保证上下游没有问题即可；

其他迁移

• Druid元数据及冷数据迁移；
• Azikaban服务迁移；
• Superset元数据迁移；

冷数据迁移；

• Azikaban服务迁移；
• Superset元数据迁移；

----持续更新