将 Milvus 数据从 A 集群(K8S集群)迁到 B 集群(K8S集群),解决方案很多,这里提供一个使用官方 milvus-backup 工具进行数据迁移的方案。
注意:此方案为非实时同步方案,但借助 MinIO 客户端的数据同步功能,应该也是可以做到实时同步迁移。
步骤概览
-
制作 milvus-backup 镜像,方便备份工具在 K8S 集群中使用 service name 访问 milvus 和 minio
-
创建 milvus-backup 工作负载
-
进入 milvus-backup 容器,修改 configs/backup.yaml 配置
-
备份集群数据到本地存储中
-
将数据拷贝到新集群中进行恢复
01.
制作 milvus-backup 镜像
注意:如果是在两个单机版的 milvus 之间迁移数据,是不需要 milvus-backup 镜像的,又或者,如果 k8s 集群部署了 milvus, minio 的 nodeport 服务,也是可以不用镜像的。可以到官方 release 中下载一个二进制应用程序即可。
由于当前官方暂未提供 milvus-backup 的镜像,但官方提供了 Dockerfile,因此可以 git clone 一下官方代码仓库后使用 docker build 制作镜像。
-
#制作 milvus-backup 镜像
-
git clone git@github.com:zilliztech/milvus-backup.git
-
cd milvus-backup
-
docker build -t milvus/milvus-backup:main .
在 build 之前可以修改一下 Dockerfile,加快 build 速度,请参考:
-
#Build 加速,并添加 minio 客户端工具
-
FROM golang:1.18 AS builder
-
ENV CGO_ENABLED=0
-
ENV GOPROXY https://goproxy.cn,direct
-
WORKDIR /app
-
COPY . .
-
RUN go mod tidy
-
RUN go build -ldflags="-s -w" -o /app/milvus-backup
-
RUN wget -P /app https://dl.minio.org.cn/client/mc/release/linux-amd64/mc
-
RUN chmod +x /app/mc
-
FROM alpine:3.17
-
WORKDIR /app
-
COPY --from=builder /app/milvus-backup .
-
COPY --from=builder /app/configs ./configs
-
COPY --from=builder /app/mc .
-
EXPOSE 8080
-
ENTRYPOINT ["/app/milvus-backup", "server"]
镜像制作好之后推送到 Docker Registry 以方便后续在 K8S 上创建工作负载。
02.
在 K8S 集群中创建 milvus-backup 工作负载(Deployment)
可以使用 kubectl 创建工作负载,也可以使用 K8S 管理后台(Kuboard / Kubesphere)创建,使用云端 K8S 的也一样,这里不展开。
注意一下,由于需要在两个集群间迁移,因此创建工作负载的时候挂载一个共享存储(/backup),方便迁移 MinIO 备份后的数据。
03.
修改 configs/backup.yaml 文件
使用 kubectl 或者 K8S 管理后台进入 milvus-backup 容器,这里有一点要注意,milvus-backup 容器里没有 bash,只有 sh,所以请使用正确的 shell(/bin/sh)。
在容器的工作目录(/app)中有 milvus-backup 和 mc 2个二进制包和 configs 文件夹,mc 即 MinIO 客户端程序,configs 目录下 backup.yaml 即 milvus-backup 的默认配置文件。接下修改 backup.yaml 以适配当前集群的 milvus 和 minio,需要修改的项目有:
-
#backup.yaml
-
milvus:
-
address: localhost
-
...
-
minio:
-
address: localhost # Address of MinIO/S3
-
...
-
bucketName: "a-bucket" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
-
rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
-
...
-
backup:
-
...
-
gcPause:
-
...
-
address: http://localhost:9091
接下来,详细说明一下需要修改的配置:
milvus.address:对应 K8S 中 milvus 服务,milvus 默认会创建一个 xxx-milvus 类型为 ClusterIP 的服务,这里可使用服务名填写,比如:milvus-cluster-1-milvus,“milvus-cluster-1”是部署 milvus 时的 release name,有映像的话,官方叫:my-release;
minio.address:对应用 K8S 中 minio 服务,同上;
minio.buketName: 参考集群容器中/milvus/configs/milvus.yaml文件中的 minio 节点,默认也是:my-release;
minio.rootPath:同上,使用 milvus operator 集群部署时,默认为:files;
backup.gcPause.address:同 milvus.address;
还有 2 个配置需要注意:
minio.backupBucketName
minio.backupRootPath
这 2 个是备份文件存放的目录,后续我们需要使用 MinIO 客户端将文件拷贝到本地存储中。
修改好之后使用 ./milvus-backup check 检查一下。
04.
备份当前集群数据到本地存储中
使用 milvus-backup 工具备份数据,这里可以直接参考 ./milvus-backup -h,milvus 系列的文档还是非常棒的。
如果数据量不大,备份速度很快,原理官方文档也讲了,这里不再介绍。备份好的之后,就可以使用 MinIO 客户端来查看数据了。
配置 MinIO 客户端
-
#添加 host
-
./mc config host add minio_1 http://my-release-minio:9000 minioadmin minioadmin
查看备份好的目录
-
#查看备份目录
-
./mc ls minio_1/a-bucket/backup
这里会列出上面使用 milvus-backup create 创建的备份
将备份好的文件拷贝到本地存储中
./mc cp -r minio_1/a-bucket/backup/mydb-20240510 /backup
这里的 /backup 目录是挂载的共享存储。
05.
恢复数据到新的集群中
进入新的集群(B)执行步骤 2和步骤 3,在步骤 3 中将 backup.yaml 中的配置修改成集群 B 的链接信息。可以把 backup-cluster-a.yaml, backup-cluster-b.yaml 放到共享存储 /backup 中,防止 pod 重启配置丢失。然后将共享目录中备份好的文件拷贝到新集群的 MinIO 中,使用 milvus-backup 恢复即可!
注意,记得恢复的时候带上--restore_index参数,这样恢复的时候会带索引一起恢复出来。恢复好之后使用 Attu 加载一下 collection,就可以正常使用了。