Milvus实战 | 基于Mishards的分布式集群方案

于 2020-02-17 10:57:16 发布
阅读量3.3k 收藏 7
点赞数
分类专栏： Milvus 文章标签： 深度学习 java python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44839084/article/details/104354297
版权

 

 

​Milvus 作为一款针对海量特征向量的相似性搜索引擎，在单台服务器上就可以处理十亿级数据规模。而对于百亿或者千亿级数据，则需要具有水平扩展能力的 Milvus 集群来满足对海量向量数据的高性能检索需求。

Mishards 是一个用 Python 开发的 Milvus 集群中间件。使用 Mishards 搭建的 Milvus 集群可以实现请求转发、读写分离、水平扩展、动态扩容等核心功能，帮助用户获得处理超大规模向量相似性检索的能力。

 

本文将展示如何使用 Mishards 分片中间件来搭建 Milvus 集群，实现 Milvus 集群化能力。文章共分为三个章节：

  • Mishards 简介：Mishards 的工作原理和 Milvus 集群架构

  • 搭建步骤：以 2 台服务器为例，搭建一个 Milvus 集群

  • 测试：将一亿数据集导入搭建完成的 Milvus 集群，并分析集群的运行情况

 

Mishards 简介

工作原理：

Mishards 负责将来自客户端的请求拆分，并路由到内部各细分子实例，最后将子实例结果汇总，返回给客户端。Mishards 的工作流程如下：

工作流程：

  1.  向 Proxy 发送客户端请求

  2.  将客户端请求进行拆分

  3.  路由到内部各细分子实例

  4.  每个实例将各自的结果发送至 Proxy

  5.  汇总结果

  6.  得到最终结果并返回给客户端

 

集群架构：

Mishards 实例可以安装在集群中任意一台服务器上。使用 Mishards 搭建的集群整体架构如下：

选择其中的一个 Milvus 实例设置为可写，其余均为只读。设置为可写的 Milvus 实例通过 Mishards 将数据导入共享存储。通过 Mishards，数据从共享存储分配给集群中每一个实例（包括可写的实例），此分配过程使用了一致性哈希算法。每一个实例完成查询任务后汇总得到最终结果并返回给客户端。

 

 

搭建步骤

搭建 Milvus 集群需要两台及以上的服务器和一个共享存储设备：

  • 您需要在每一个服务器上都安装并启动 Milvus

  • 您只需在任意一台服务器上启动 Mishards

  • 您可以选择任意一台服务器作为共享存储

 

本示例将使用两台服务器A和B搭建一个 Milvus 集群：在服务器 A (192.168.1.38) 上启动 Mishards 和第一个 Milvus 实例；在服务器B上（192.168.1.85）启动第二个 Milvus 实例，并将此台服务器作为共享存储，来储存集群中所有 Milvus 实例的数据。

注意：启动 Milvus 和 Mishards 前需要完成相应的参数配置。

 

具体搭建过程如下：

1. 安装 MySQL

MySQL 服务只需要在集群中任意一台服务器上启动即可。本示例安装在服务器A（192.168.1.38）中。

  • 根据 MySQL 官网教程安装并启动 MySQL 服务

  • 或通过 docker 安装 MySQL

 

2. 启动 Milvus

集群中每一台服务器均需要安装 Milvus 实例，不同的 Milvus 实例配置不同的读写权限。本示例中，将第一台服务器上的 Milvus 实例配置为可写，将第二台服务器上的 Milvus 实例配置为只读。

集群中只能有一个 Milvus 实例配置为可写，其他均为只读。

根据官网步骤安装 Milvus，但需要修改配置文件server_config.yml。按照如下示例进行修改：

根据实际环境，在配置文件中定位到如下片段，并修改相应参数：

 

  1. version:0.1# config version

  2.  

  3. server_config:

  4. address:0.0.0.0# milvus server ip address (IPv4)

  5. port:19530# milvus server port, must in range [1025, 65534]

  6. deploy_mode: cluster_readonly # deployment type: single, cluster_readonly, cluster_writable

  7. time_zone: UTC+8# time zone, must be in format: UTC+X

  8.  

  9. db_config:

  10. primary_path:/var/lib/milvus # path used to store data and meta

  11. secondary_path:# path used to store data only, split by semicolon

  12.  

  13. backend_url: mysql://root:milvusroot@192.168.1.38:3306/milvus # URI format: dialect://username:password@host:port/database

在配置文件中，参数 deploy_mode 决定了 Milvus 实例为只读还是可写。在单机版中，这一参数设置为 single ；当使用 Mishards 时，每一个 Milvus 实例配置为 cluster_writable 或 cluster_readonly 。

cluster_writable 表示该Milvus实例可写

cluster_readonly 表示该Milvus实例只读

参数 backend_url 按上述格式修改为 MySQL 所安装的服务器地址及端口。其余配置参照 Milvus 单机版时的配置。

此外，集群中所有的设备数据存储位置应该设置为同一个共享存储。在本示例中，选择第二台服务器作为共享存储。

修改完配置后，启动 Milvus 服务。

3. 启动 Mishards

Mishards 实例只需在集群中任意一台服务器上启动即可。本示例在服务器 A 上启动Mishards。

Mishards 需要通过docker 启动，其中启动时的相关配置文件如下。启动前需要修改 cluster_mishards.yml 文件中的相应参数：

  1. version:"2.3"

  2. services:

  3. mishards:

  4. restart: always

  5. image: milvusdb/mishards

  6. ports:

  7. -"0.0.0.0:19531:19531"

  8. -"0.0.0.0:19532:19532"

  9. #volumes:

  10. #- /tmp/milvus/db:/tmp/milvus/db

  11. # - /tmp/mishards_env:/source/mishards/.env

  12. command:["python","mishards/main.py"]

  13. environment:

  14. FROM_EXAMPLE:'true'

  15. SQLALCHEMY_DATABASE_URI: mysql+pymysql://root:milvusroot@192.168.1.85:3306/milvus?charset=utf8mb4

  16. DEBUG:'true'

  17. SERVER_PORT:19531

  18. WOSERVER: tcp://192.168.1.85:19530

  19. DISCOVERY_PLUGIN_PATH:static

  20. DISCOVERY_STATIC_HOSTS:192.168.1.85,192.168.1.38

  21. DISCOVERY_STATIC_PORT:19530

参数说明：

SERVER_PORT :定义 Mishards 的服务端口。

WOSERVER :定义 Milvus 可写实例的地址，目前只支持静态设置。参考格式： tcp://127.0.0.1:19530 。

DISCOVERY_PLUGIN_PATH : 用户自定义服务发现插件的搜索路径，默认使用系统搜索路径。

DISCOVERY_STATIC_HOSTS :服务地址列表，地址之间以逗号隔开，例如 192.168.1.188,192.168.1.190 。

DISCOVERY_STATIC_PORT :服务地址监听端口。

 

参数修改：

SQLALCHEMY_DATABASE_URI : 修改为 MySQL 所在的 IP 地址。

WOSERVER : 修改为 Milvus 可写示例的 IP 地址。

DISCOVERY_STATIC_HOSTS : 集群中的所有 IP 地址。

修改完后启动 Mishards 即可。

更详细的搭建步骤请参考 Bootcamp：https://github.com/milvus-io/bootcamp/tree/master/solutions/Mishards。

 

测试

数据准备

本实验所使用的原始数据集为 SIFT1B ，关于该数据集的详细信息请参考：

http://corpus-texmex.irisa.fr/ 。

在本次测试中，我们提取了原始数据集中的 1 亿条数据，该文件大小约为 13G。

1 亿测试数据集下载地址：https://pan.baidu.com/s/1N5jGKHYTGchye3qR31aNnA

搭建并启动 Mishards 后，您可以使用 Milvus 进行相应操作。根据 Mishards 所在服务器的 IP 地址和 Mishards 服务端口来连接该集群的 Milvus 服务

  1. >>> milvus =Milvus()

  2. >>> milvus.connect(host='192.168.1.38', port='19531')

接下来您可以完成建表、插入向量、创建索引、查询等一些列操作。

 

测试步骤：

将 Bootcamp: https://github.com/milvus-io/bootcamp.git 克隆至服务器，进入bootcamp/benchmark_test/scripts 目录。

1. 建表：

  1. $ python3 milvus_toolkit.py --table <table_name>--dim <dim_num>-c

2. 根据你要导入文件的格式（npy,csv,fvecs,bvces），参考 Milvus Bootcamp 脚本使用说明：https://github.com/milvus-io/bootcamp/tree/0.5.3/scripts ，修改milvus_load.py中的你所导入的文件路径。修改完成后使用如下命令行导入数据：

  1. $ python3 milvus_load.py --table <table_name>-b

3. 创建索引：

  1. $ python3 milvus_toolkit.py --table <table_name>--index <sq8 or sq8h or flat or ivf>--build

4. 查询：

  1. $ python3 milvus_toolkit.py --table <table_name>--nprobe <np_num>-s

  2. #执行-s，性能查询。np是指定查询时要搜索的桶的数量

运行情况

可以通过 Mishards 的日志查看每一台服务器的工作情况，如下图：

从运行日志可以看到，IP 地址为 192.168.1.85 和 192.168.1.38 都参与了查询的工作。

如下两图所示，192.168.1.85 和 192.168.1.38 的所有 CPU 都在工作。可在 PID USER 行的 RES 栏下观察得到，192.168.1.85 的内存占用为 10.7G，192.168.1.38 的内存占用为 9344M，总内存占用为 19.825G

而当使用 Milvus 单机版处理该数据集时，内存占用为 15.9G。使用 Mishards 时，内存占用比使用单机版时多了将近 4G。这是由于多个 Milvus 实例，每个 Milvus 实例都会消耗内存。虽然 Mishards 基本不消耗内存，但由于 Milvus 实例的增加，相应的内存占用也有所增加。

 

本文利用 Mishards 搭建了一个 Milvus 集群，并且使用了一亿数据集对 Milvus 集群进行了相关测试和运行情况分析。当您需要处理海量特征向量时，您可以使用基于 Mishards 的 Milvus 分布式集群方案以获得更好的体验。Mishards 的后续版本将会持续更新，欢迎您提供各种意见或者代码根据具体场景需求和我们一起探索更加完善的集群方案。

更多关于 Mishards 的内容请访问：

https://github.com/milvus-io/milvus/blob/master/shards/README_CN.md

 

往期实战系列👇

Milvus实战 | 轻松搭建以图搜图系统

Milvus实战 | 个性化推荐系统

Milvus实战 | 基于Keepalived的高可用方案

 

欢迎加入Milvus社区

Milvus 源码
github.com/milvus-io/milvus

Milvus 官网
milvus.io

Milvus Slack 社区
milvusio.slack.com

Milvus CSDN 博客
zilliz.blog.csdn.net

 

Milvus 线上交流群

关注 ZILLIZ 公众号 > 点击菜单「线上交流」 > 添加 ZILLIZ bot 并回复入群

© 2020 ZILLIZ™

 

Zilliz Planet
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
博客
客户案例｜Zilliz Cloud 助力 MindStudio 搭建无代码平台，革新 AI 应用开发方式
09-12 233
“Zilliz Cloud 与 MindStudio 的愿景完美契合。Zilliz Cloud 的高性能、数据安全和多租户等特性简化了数据管理流程，为我们用户的 AI 应用开发过程带来了前所未有的生产力和创新潜力。”——Sean Thielen(MindStudio CTO)01.MindStudio 简介MindStudio 是一个开创性的无代码平台，使用户能够在不需要技术背景的情况下充分利用...
博客
使用 Milvus、vLLM 和 Llama 3.1 搭建 RAG 应用
09-11 322
vLLM 是一个简单易用的 LLM 推理服务库。加州大学伯克利分校于 2024 年 7 月将 vLLM 作为孵化项目正式捐赠给 LF AI & Data Foundation 基金会。欢迎 vLLM 加入 LF AI & Data 大家庭！????在主流的 AI 应用架构中，大语言模型（LLM）通常与向量数据库配套使用，用于构建检索增强生成（RAG）应用，从而解决 AI 幻觉问题。本文将...
博客
官宣：Zilliz 在亚马逊云科技中国区正式开服！
09-10 508
01Zilliz Cloud 正式上线亚马逊云科技宁夏区服务9 月 4 日，Zilliz 正式官宣， Zilliz Cloud 正式上线亚马逊云科技在宁夏区的云服务。至此，Zilliz Cloud 已实现全球 5 大云 19 个节点 的全覆盖，成为全球首个提供海内外多云服务的向量数据库企业。作为一款致力于打造高性能、易扩展，卓越性价比产品的向量数据库，Zilliz Cloud 在全球拥有上百人规模...
博客
聊一聊：你最想用大模型实现的功能是什么
09-09 279
大模型火的一塌糊涂，那此刻正阅读这条微信的你，又是否已经在日常工作中用起了大模型的能力呢，又是否觉得还有哪些更多的工作任务，可以让大模型帮你完成？那今天，我们就来聊一聊：评论区留言，说出你的想法～获赞最高的朋友将获得【Zilliz超萌小鸟袜】！！（截止时间：9月13日 24:00）推荐阅读...
博客
图像与文本并存，多模态检索如何带来新的搜索革命
09-09 821
01火热的多模态智能回顾到2024的大型语言模型（LLM）的发展，让人欣喜的一点是scaling law依然奏效，智能随着资源的提高继续提高。但另一个让人担忧的点是高质量的文本语料似乎即将触及上限。为了加入更多的数据喂给模型，人们逐渐将目光转向除了文本之外的其他模态，还有这么多图像，音频，视频等其他模态数据没有像文本数据这样被充分利用起来。拥有了多模态能力的模型会对token在物理世界的原型有着更...
博客
聊一聊：你遇到最难忘的技术面试（内含福利与岗位内推）
09-06 197
金九银十求职季即将到来，大学生们繁忙的秋招也已经开启，那今天就来聊一聊你遇到最难忘的技术面试评论区留言，说出你的想法～获赞最高的朋友将获得【Zilliz超萌小鸟袜】！！（截止时间：9月13日 24:00）另，Zilliz高级前端开发工程师、产品经理、高级前端开发工程师、产品经理、数据库开发工程师/高级工程师、C++开发工程师/高级工程师、云平台总监、数据库运维专家、数据库测试开发专家等多个岗位正开...
博客
如何评估 Embedding 模型
09-05 917
01.简介在此前发布的文章（https://zilliz.com/learn/sparse-and-dense-embeddings）中，我们探析了当前稠密 Embedding 模型的架构，并介绍了 sentence-transformers 库的一些基础用法。虽然通过 sentence-transformers 可以使用众多预训练模型，但这些模型几乎都采用了与原始 SBERT 模型相同的架构——...
博客
一文读懂，为什么向量数据库是大模型时代的核心基础设施
09-04 809
北京时间2024年8月29日， 亚马逊云科技举办的聚焦生成式AI线下研讨会正式落下帷幕。会上，向量数据库领军者Zilliz、大模型代表性企业智谱.AI、大语言模型应用开发平台Dify先后发表演讲。活动中，Zilliz资深解决方案架构师沈亮做了主题为《超亿规模向量数据落地Zilliz Cloud最佳实践》的分享。以下为沈亮演讲内容分享（在不违背原意的情况下略有删减和调整）：01 .为什么向量数据库会...
博客
合碳智能 × Milvus：探索化学合成新境界——逆合成路线设计
09-03 672
合碳智能（C12.ai）成立于2022年，致力于运用AI和具身智能技术，为药物研发实验室提供新一代智能化解决方案，推动实验室从自动化迈向智能化，突破传统实验模式与人员的依赖，解决效率和成本的瓶颈，实现药物研发行业的产业革命。在药物研发和有机合成化学领域，逆合成分析是一种至关重要的工具。通过逆合成分析，化学家可以从目标分子出发，逐步拆解其结构，推导出合理的合成路线。然而，合成路线的设计往往需要借鉴历...
博客
使用 Milvus 和 Streamlit 搭建多模态产品推荐系统
09-02 896
我们可以使用 Milvus 搭建多模态 RAG 应用，用于产品推荐系统。用户只需简单上传一张图片并输入文字描述，Google 的 MagicLens 多模态 Embedding 模型就会将图像和文本编码成一个多模态向量。然后，使用这个向量从 Milvus 向量数据库中找到最相似的亚马逊产品。???????? Milvus 魔法：图像搜索和智能购物！您是否曾经希望只需上传一张图片并简单描述你想要的东西就能找到对...
博客
聊一聊：大模型热潮，还会再火多久（内含福利）
09-02 418
两年来，大模型有多火，所有人有目共睹。但在投资圈，也一直不乏唱反调的声音，比如前几天，一位在互联网时代投出了“滴滴”“饿了么”的明星投资人，就公开表示，窗口短暂、成本高昂，未来投融资的难度都将增加，明星大模型公司，最好的结果是卖给大厂。那今天就来聊一聊评论区留言，说出你的想法～获赞最高的朋友将获得【Zilliz超萌小鸟袜】！！（截止时间：9月06日 24:00）推荐阅读...
博客
聊一聊：Runway“删库跑路”，到底为什么（内含福利）
08-30 2372
这两天，AI圈又出了个大新闻。一句话概述：没有一点点防备，也没有一丝顾虑，Stable Diffusion v1.5的作者明星公司runway，就这样在Hugging Face上留下一句“我们不再对HuggingFace账号进行维护”，就把Hugging Face、GitHub多个平台上的所有历史内容全部删除！删库来的太快，就像龙卷风。尽管官网还在维护，但明星公司runway，在各大技术社区中，已...
博客
Milvus 向量数据库进阶系列丨构建 RAG 多租户/多用户系统 (下）
08-30 3225
本系列文章介绍在和社区小伙伴们交流的过程中，我们发现大家最关心的问题从来不是某个具体的功能如何使用，而是面对一个具体的实战场景时，如何选择合适的向量数据库解决方案或最优的功能组合。在 “Milvus 向量数据库进阶” 这个系列文章中，我们会聚焦回答这一类问题，如 “在 AI 应用开发的不同阶段，向量数据库应该如何选型”，“如何正确的构建 RAG 多租系统” 等。虽然这个系列名为进阶，但内容同时适用...
博客
使用 Milvus Lite、Llama3 和 LlamaIndex 搭建 RAG 应用
08-29 1309
大语言模型（LLM）已经展示出与人类交互并生成文本响应的卓越能力。这些模型可以执行各种自然语言任务，如翻译、概括、代码生成和信息检索等。为完成这些任务，LLM 需要基于海量数据进行预训练。在这个过程中，LLM 基于给定的词，预测句子中的下一个词来学习自然语言。这种方法被称为标记预测，帮助 LLM 生成连贯且富含上下文的响应。然而，由于模型更专注于预测最可能的下一个词而非验证事实，因此其输出有时可能...
博客
扩博智能× Milvus：图像检索助力零售商品图像高效标注
08-28 998
大家好，我是上海扩博智能技术有限公司的Frank，负责算法工程相关的工作。很高兴能在 Milvus 社区和大家分享我们在图像检索方面的经验。01扩博智能公司简介扩博智能 Clobotics 成立于 2016 年，总部位于上海长宁。我们聚焦计算机视觉和机器学习技术，专注为行业和企业用户提供端到端一体化智能服务。公司在丹麦、新加坡、巴西、美国分别设有海外销售分公司。自成立以来，扩博智能申请及获得 30...
博客
向量数据库Milvus源码开发贡献实践
08-27 1156
Milvus 是一款云原生的开源向量数据库，广泛应用于高维向量数据的管理和人工智能驱动的相似性搜索。无论是在构建智能搜索引擎还是开发数据驱动的应用，Milvus 都能提供强大的支持。我们将一起从头开始实践 Milvus 的标准开发流程，包括如何搭建开发环境、构建 Milvus、运行测试以及如何将您的代码贡献给 Milvus。01Hello Milvus想要成为Milvus开发者为开源社区贡献，首先...
博客
聊一聊：工作中，你遇到过哪些堪比rm -rf的灾难现场（内含福利！）
08-26 168
搞AI难，搞向量数据库+AI更难，一不留神，还会在技术论坛中，收获来自“前辈”rm -rf的“贴心指导”，完成一周从入门到删库跑路的修炼之路。今天就来聊一聊，那些你见过的，在工作中遇到的顶级灾难现场：评论区留言，说出你的想法～获赞最高的朋友将获得【Zilliz超萌小鸟袜】！！（截止时间：8月30日 24:00）推荐阅读...
博客
利用元数据过滤、Hybrid Search、 Agent 等功能提升您的 RAG 应用
08-26 850
01什么是 RAG？检索增强生成（Retrieval Augmented Generation，简称 RAG）是一种通过整合外部数据源来增强大语言模型（LLM）的技术。典型的 RAG 应用包含以下几个步骤：索引流程：从数据源获取数据并创建索引。这个流程通常包括在 Milvus 中加载数据、切分数据，以及对数据进行排序。检索和生成：在运行时，RAG 应用处理用户的查询，从存储在 Milvus 中的索...
博客
聊一聊：游戏NPC内置大模型，你会氪金吗（内含福利！）
08-23 137
黑神话悟空爆火，国产3A游戏终于扬眉吐气，但不妨再加点脑洞：评论区留言，说出你的想法～获赞最高的朋友将获得【Zilliz超萌小鸟袜】！！（截止时间：8月28日 24:00）推荐阅读...
博客
使用 Ollama、Llama 3.1 和 Milvus 实现Function Calling 功能
08-23 591
将函数调用（Function Calling）与 LLM 相结合能够扩展您的 AI 应用的能力。通过将您的大语言模型（LLM）与用户定义的 Function 或 API 集成，您可以搭建高效的应用，解决实际问题。本文将介绍如何将 Llama 3.1 与 Milvus 和 API 等外部工具集成，构建具备上下文感知能力的应用。01Function Calling 简介诸如 GPT-4、Mistral...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值