Milvus 实战 | 基于 Kubernetes 的分布式集群部署方案

Zilliz Planet

于 2020-07-30 09:13:00 发布

阅读量4.3k

点赞数 2

分类专栏： Milvus 文章标签：分布式 docker kubernetes 大数据 Milvus

本文链接：https://blog.csdn.net/weixin_44839084/article/details/107704293

版权

Milvus 专栏收录该内容

218 篇文章

订阅专栏

Milvus 作为一款针对海量特征向量的相似度搜索引擎，在单台服务器上就可以处理十亿级数据规模。而对于百亿或者千亿级数据，则需要具有水平扩展能力的 Milvus 集群来满足对海量向量数据的高性能检索需求。

我们使用了 Mishards 中间件来搭建 Milvus 集群。Mishards 是一个用 Python 开发的 Milvus 集群分片中间件，其内部处理请求转发、读写分离和水平扩展，为用户提供内存和算力可以扩容的 Milvus 实例。详情请参阅 Mishards。

本文将主要介绍如何在集群内部配置 StorageClass 实现共享存储，如何使用 Helm 或 kubectl 部署 Milvus 集群，最后通过在集群外部访问 Milvus 服务测试集群。本集群包含 2 个 Milvus 实例（1 个可读实例，1 个可写实例）、1 个 MySQL 实例和 1 个 Mishards。本示例将使用两台服务器部署一个 Milvus 集群：服务器 A 配置为 Kubernetes Master 节点；服务器 B 配置为 Kubernetes Worker 节点。

以下是 Kubernetes 示例架构图：

| 实现共享存储

1 为什么需要共享存储

容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先，当容器崩溃时，kubectl 将重新启动容器，容器中的文件将会丢失。其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。Kubernetes 抽象出 Volume 对象来解决这两个问题。

但是，当一个 Pod 不再存在时，Volume 也将不再存在。因此，Kubernetes 引入了 Persistent Volumes (PV)。PV 是集群中一块已经由管理员配置或使用 StorageClass 动态配置的存储。此 API 对象包含存储实现的细节，即 NFS、iSCSI 或特定于云供应商的共享存储系统。Kubernetes 通过网络访问的共享文件系统，不仅可以更加可靠地存储来保存应用产生的重要数据，还可以实现 Pod 之间数据共享。

2 部署 StorageClass

1. 为了共享数据，PV 访问模式必须被设置为 ReadOnlyMany 或 ReadWriteMany。

2. 文件存储系统的选择：

如果集群部署在 AWS，可以使用 Elastic File System (EFS)。

如果集群部署在 Azure，可以使用 Azure File Storage (AFS)。

部署流程

1. 拉取源码：

$ git clone https://github.com/helm/charts.git
$ cd charts/stable/nfs-client-provisioner

配置文件下载完成后，需要将 values.yaml 文件中的 server 参数改为共享存储服务器的 IP 地址，将 path 参数改为共享存储目录。此外，由 StorageClass 动态创建的 PersistentVolume 将使用 mountOptions 字段指定的挂载选项。

2. 安装 NFS client chart：

$ helm install nfs-client .

NFS Client Provisioner 是用于自动创建 Kubernetes PV 的自动化插件。它可以根据已配置好的 NFS Server，自动创建 Kubernetes PV。

3. 检查部署状态：

$ helm list

4. 通过 watch 指令检查是否部署成功：

$ watch kubectl get po -l app=nfs-client-provisioner

5. 查看当前 StorageClass：

$ kubectl get storageclass
NAME                   PROVISIONER                                       RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGEnfs-client (default)   cluster.local/
nfs-client-nfs-client-provisioner   Delete          Immediate           true                   5d23h

| 部署 Milvus 集群

这里将展示两种部署 Milvus 集群的方式。

1 利用 Helm 部署 Milvus

下面将演示如何利用 Milvus chart 和 Helm 包管理器在 Kubernetes 集群上部署 Milvus。

1. 拉取源码：

$ git clone -b 0.10.0 https://github.com/milvus-io/milvus-helm.git
$ cd milvus-helm

2. 部署 Milvus：

$ git clone https://github.com/milvus-io/milvus-helm.git
$ cd milvus-helm
$ helm install --set cluster.enabled=true --set persistence.enabled=true --set mysql.enabled=true my-release  .

关于 Milvus Server 的详细参数，可参考 Milvus Server Configuration。

3. 查看 Milvus 部署状态：

$ helm list

4. 查看 Pods 是否启动成功：

$ kubectl get pods
# You are expected to see the following output.
NAME                                                READY   STATUS    RESTARTS   AGE
my-release-milvus-mishards-8f97db7fb-qxxgn          1/1     Running   0          12m
my-release-milvus-readonly-66784bccd6-67wcr         1/1     Running   0          12m
my-release-milvus-writable-55d7ff788b-n4zc6         1/1     Running   1          12m
my-release-mysql-8688668cd-2rj7k                    1/1     Running   1          12m
nfs-client-nfs-client-provisioner-86cf7c4bc-hd7bq   1/1     Running   3          32m

如果有 Pods 未启动成功，请使用以下命令进行错误排查：

$ kubectl logs <NAME>
or
$ kubectl describe pod <NAME>

2 利用 kubectl 部署 Milvus

利用 kubectl 部署应用的实质是部署 YAML 或 JSON 文件中定义的内容。因此需要利用 Go 安装 schelm 插件。通过 schelm 插件获得 manifest 文件，它们即为 Kubernetes 可以识别的 YAML 格式的资源描述。

1. 拉取源码：

$ git clone -b 0.10.0 https://github.com/milvus-io/milvus-helm.git
$ cd milvus-helm

2. 下载并解压 Go：

$ wget https://dl.google.com/go/go1.14.6.linux-amd64.tar.gz
$ sudo tar -C /usr/local -xzf go1.14.6.linux-amd64.tar.gz

3. 在 /etc/profile 或者 HOME/.profile 添加环境变量：

export PATH=$PATH:/usr/local/go/bin

以上为在 Ubuntu 安装 Go 的方法，其他系统请参考 Install the Go tools。

4. 安装 schelm 插件：

$ go get -u github.com/databus23/schelm
$ sh
sh               sha224sum        sha384sum        shadowconfig     sh.distrib       shopt            showconsolefont  showrgb          shuf             
sha1sum          sha256sum        sha512sum        shasum           shift            shotwell         showkey          shred            shutdown

5. 获取 Milvus 的 manifest 文件：

$ helm install --dry-run --debug --set cluster.enabled=true --set persistence.enabled=true --set mysql.enabled=true my-release  . | ~/go/bin/schelm output/

6. 将配置文件应用到 Pod：

$ cd output/milvus/
$ kubectl apply -f templates/
$ cd /charts/mysql/
$ kubectl apply -f templates/

如果出现格式转换错误，请修改对应的 YAML 文件。

7. 查看 Pods 是否启动成功：

$ kubectl get pods

| 测试

此时，Milvus 服务已成功部署到 Kubernetes 上。但是，Kubernetes 的默认服务为ClusterIP，集群内的其它应用可以访问该服务，而集群外部无法进行访问。所以，如果想在 Internet 或者生产环境中使用集群，需要更换 Service 以暴露应用。Kubernetes 的两种可以暴露服务的 Service 类型为：NodePort 和 LoadBalancer。此外可以通过 Ingress 公开从集群外部到集群内 services 的 HTTP 和 HTTPS 路由。下面将介绍如何使用 NodePort 服务在外部访问集群。

1. 修改服务方式：

$ vim values.yaml

参数修改：

将 Milvus Server Configuration 部分的 service.type 修改为 NodePort。

更多关于暴露应用的方法，请参考 Expose Your App Publicly。

2. 更新 Milvus release：

$ helm upgrade --set cluster.enabled=true --set persistence.enabled=true --set mysql.enabled=true my-release  .

3. 查看端口状态：

$ kubectl get service
# You are expected to see the following output.
NAME                         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)               AGE
kubernetes                   ClusterIP   10.96.0.1      <none>        443/TCP               24h
my-release-milvus            NodePort    10.99.64.80    <none>        19530:32227/TCP       30m
my-release-milvus-readonly   ClusterIP   10.99.29.32    <none>        19530/TCP,19121/TCP   30m
my-release-milvus-writable   ClusterIP   10.98.84.247   <none>        19530/TCP,19121/TCP   30m
my-release-mysql             ClusterIP   10.97.182.37   <none>        3306/TCP              30m

4. 在集群外的服务器安装 Milvus Python SDK：

$ pip3 install pymilvus==0.2.14

5. 下载 Python 示例代码：

$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/0.2.14/examples/example.py

修改其 _HOST 为集群中任意一台服务器 IP 地址，_PORT 为暴露服务的静态端口。

6. 运行示例代码：

$ python3 example.py
# You are expected to see the following output.
CollectionSchema(collection_name='example_collection_', dimension=8, index_file
......
{'partitions': [{'row_count': 10, 'segments': [{'data_size': 400, 'index_name':
Creating index: {'nlist': 2048}
(collection_name='example_collection_', index_type=<IndexType: IVFLAT>, params=
Searching ...
Query result is correct
......

| 结语

本文利用两种方法轻松将 Milvus 部署到 Kubernetes 中，并通过在数据集外部访问 Milvus Server 进行了相关测试。当需要使用 Milvus 处理海量特征向量时，可以使用该分布式集群方案增强横向扩容能力，以获得更好的体验。也可自行尝试将该系统从物理机环境中无缝迁移到公有云中。

基于 Mishards 的分布式方案请参考 Mishards。

基于 Kubernetes 的分布式搭建方案请参考 Milvus Helm、K8s Bootcamp。