概述
用户业务在上云或者云迁移过程中,需要对镜像进行批量迁移。基于此背景,腾讯云容器专家团队开发了镜像批量迁移工具:image-transfer。该工具支持多种云厂商镜像仓库之间的批量迁移,同时支持腾讯云镜像仓库 TCR 个人版 CCR 一键全量迁移至腾讯云镜像仓库企业版 TCR。
本文首先介绍业务上云/迁移过程中镜像迁移的痛点。随后详细介绍镜像批量迁移工具 image-transfer 的设计思想,功能模块以及最佳实践。
工具已正式开源,项目地址:https://github.com/tkestack/image-transfer
二进制包下载地址:https://github.com/tkestack/image-transfer/releases
业务上云,镜像怎么迁移?
业务上云主要有几种场景,一是自建 idc 上云,二是第三方云迁移,三是异地灾备,即混合云。这些场景中,无论是上云还是云迁移,迁移流程主要有如下几步。
- 网络规划。vpc 配置,子网划分等。
- 数据迁移。对象存储,文件存储等。
- 应用迁移。业务,配置等。
在数据迁移过程中,如果业务大量使用容器化部署,则需要批量镜像迁移。而目前大部分云厂商的镜像仓库服务没有提供镜像仓库批量迁移的能力。业务想要迁移,只能先在本地下载原镜像,修改 tag 后,再上传至目的镜像仓库。这个过程存在以下几个缺点:
- 耗时耗力。仅仅对于单个镜像迁移,就需要三步操作,并且需要时刻盯着,若出现失败情况,需进一步处理。
- 完全人肉操作,易出现差错。在对原镜像修改 tag 时,由于是人为修改,极易操作失误,tag 修改错了等。
- 镜像量大时,成本增加,上云进度缓慢。如果有几百上千个镜像,这样人肉操作,迁移进度会十分缓慢,且迁移成本会大大增加。
image-transfer 的原理
设计目标
针对镜像迁移的痛点。我们希望开发一种镜像批量迁移工具。它对使用者而言,只需要简单的配置,就可以实现镜像批量迁移,无需人工干预,提高业务上云/迁移的进度,降低成本。具体而言,该工具有以下设计目标。
-
配置简单,无需复杂输入。我们希望对使用者而言这个工具是简单易用的,仅需配置源、目的镜像地址和鉴权,即可完成批量迁移。
-
快速高效迁移海量镜像,降低迁移成本。针对大量的镜像迁移需求,我们希望工具可以高效完成,借助高并发的一些技术,实现快速迁移。
-
一定的容错能力,减少人工干预维护。在迁移过程中,我们希望工具可以进行一些错误的识别和自动修复,尽量减少人工维护,提高运维效率。
-
对运行环境没有依赖,提高工具普适性。我们希望工具是可以在任何 linux,mac os,windows 操作系统中运行,而不用依赖 docker 及其他程序。
-
支持腾讯云 CCR 一键全量迁移模式。目前,腾讯云容器镜像服务 TCR 企业版正式上线,腾讯云 TCR 个人版(CCR)将在未来逐步减少维护,直到下线。因此工具需要支持 CCR 仓库一键全量迁移至 TCR 企业版。
-
支持自定义 qps 限速。批量迁移镜像,频繁的调用镜像仓库接