阿里云开源 image-syncer 工具，容器镜像迁移同步的终极利器

为什么要做这个工具？

由于阿里云上的容器服务 ACK 在使用成本、运维成本、方便性、长期稳定性上大大超过公司自建自维护 Kubernets 集群，有不少公司纷纷想把之前自己维护 Kubernetes 负载迁移到阿里云 ACK 服务上。在迁移过程中，往往会碰到一个不大不小的坑：那就是怎么把已有的容器镜像平滑的迁移到阿里云镜像服务 ACR 上。这个问题看起来非常简单，如果只有三五个镜像，只要做一次 docker pull/docker push 就能完成，但实际生产中涉及到成千上百个镜像，几 T 的镜像仓库数据时，迁移过程就变的耗时非常漫长，甚至丢失数据。

阿里云云原生应用平台的工程师——也就是我们，发现这是一个通用的需求，用户会在各种容器镜像仓库之间做迁移，或者进一步，期望有同步复制的能力，所以我们研发了 image-syncer 这个项目来支持迁云，并同时开源给业界大众，用来解决通用的容器镜像批量迁移/同步的问题。

这个工具在实际生产中，已经帮助了多家客户进行镜像迁移，其中最大镜像仓库的总量达到 3T 以上，同步时能跑满机器带宽，进行同步任务的机器磁盘容量没有要求。

image-syncer 简介

如上所述，在 k8s 集群迁移场景中，镜像仓库之间进行镜像迁移/同步是基本需求，而使用 docker pull/push 结合脚本的传统方式进行镜像同步，有如下几个局限性：

1. 依赖磁盘存储，需要及时进行本地镜像的清理，并且落盘造成多余的时间开销，难以胜任生产场景中大量镜像的迁移
2. 依赖 docker 程序，docker daemon 对 pull/push 的并发数进行了严格的限制，无法进行高并发同步
3. 一些功能只能通过 HTTP api 进行操作，单纯使用 docker cli 无法做到，使脚本变得复杂

image-syncer 的定位是一个简单、易用的批量镜像迁移/同步工具，支持几乎所有目前主流的基于 docker registry V2 搭建的镜像存储服务，比如 ACR、Docker 
Hub、Quay、自建 Harbor 等，目前已经初步经过了 TB 级别的生产环境镜像迁移验证，并开源于 https://github.com/AliyunContainerService/image-syncer ，欢迎大家下载使用以及提供宝贵的建议～

工具特性

image-syncer 的特性如下：

1.支持多对多镜像仓库同步
2.支持基于 Docker Registry V2 搭建的 docker 镜像仓库服务 (如 Docker Hub、 Quay、 阿里云镜像服务 ACR、 Harbor等)
3.同步只经过内存和网络，不依赖磁盘存储，同步速度快
4.增量同步, 通过对同步过的镜像 blob 信息落盘，不重复同步已同步的镜像
5.并发同步，可以通过配置文件调整并发数
6.自动重试失败的同步任务，可以解决大部分镜像同步中的网络抖动问题
7.不依赖 docker 以及其他程序

借助 image-syncer，只需要保证 image-syncer 的运行环境与需要同步的 registry 网络连通，你可以快速地完成从镜像仓库的迁移、拷贝以及增量同步，并且对硬件资源几乎没有要求(因为 image-syncer 严格控制网络连接数目=并发数，所以只有在当单个镜像层过大的情况下，并发数目过大可能会打满内存，内存占用 <= 并发数 x 最大镜像层大小)；除了使用重传机制规避同步过程中可能出现的偶发问题之外， image-syncer 会在运行结束时统计最后同步失败的镜像个数，并且打印出详细的日志，帮助使用者定位同步过程中出现的问题。

使用指南

image-syncer 运行，只需要用户提供一个配置文件，内容如下：

{
    "auth": {                   // 认证字段，其中每个对象为一个registry的一个账号和
                                // 密码；通常，同步源需要具有pull以及访问tags权限，
                                // 同步目标需要拥有push以及创建仓库权限，如果没有提供，则默认匿名访问

        "quay.io": {            // registry的url，需要和下面images中对应registry的url相同
            "username": "xxx",               // 用户名，可选
            "password": "xxxxxxxxx",         // 密码，可选
            "insecure": true                 // registry是否是http服务，如果是，insecure 字段需要为true，默认是false，可选，支持这个选项需要image-syncer版本 > v1.0.1
        },
        "registry.