Milvus 实践(2) --- 2.4.x 安装，脚本分析，数据存储解析

已于 2024-08-07 12:11:29 修改
阅读量226 收藏
点赞数 8
分类专栏： RAG Milvus Chroma 源码及实践 文章标签： milvus python vector db
于 2024-08-07 12:09:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/talentyiyy/article/details/140971989
版权

目录

背景

Milvus2.4.x安装脚本分析

etcd组件

container_name

image

参数

注意问题

environment

volumes

实体化

command

参数

注意事项

healthcheck

参数

作用

下载

minio组件

container_name

image

参数

注意事项

environment

参数

ports

参数

注意事项

volumes

参数

实例

command

healthcheck

下载及问题处理

问题说明

处理

milvus 里的存储内容

说明

实例

standalone组件

container_name

image

command

security_opt

environment

说明

注意事项

volumes

说明

实例

healthcheck

ports

说明

depends_on

说明

下载及问题处理

整体运行

存储目的与区别

MinIO vs rdb_data

MinIO

rdb_data

两者存储的data

背景

最近，有很多网友反馈按照Milvus官网给出的docker 安装方案，只能顺利下载 etcd组件，minio 与 standalone 都下载不了。究其原因，不是你的问题，而是你懂的，老美总是这不准用，那被禁止之类的。如果你看过之前本专栏的文章，Docker & Ubuntu & Milvus 2.4 windows 详细安装攻略_milvus2.4离线rpm安装-CSDN博客 是可以全部解决问题。今天主要从milvus官方的安装脚本及遇到问题，解决思路出发进行分析。通过逐个击破，你同样能完成最新 2.4.x 的安装及调试，结合之前的架构讲解，对2.4.x 的概要及数据存储分布有实质性的理解。

Milvus2.4.x安装脚本分析

从milvus的官网透过wget 或者其他方式下载 yaml 脚本，这个过程非常简单，这里不再熬述。

yaml 整个安装脚本，非常清晰，分为两大块，一个是 service 部分，一个

了解本专栏 订阅专栏 解锁全文 超级会员免费看
PhoenixAI8
关注
  • 8
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Milvus 核心组件（3）--- MinIO详解
talentyiyy的专栏
07-23 761
MinIO是一个开源的对象存储服务器，提供了高度可扩展、高性能的存储解决方案，用于存放非结构化的数据，如图片、视频、日志文件等。兼容性：MinIO完全兼容Amazon S3 API，这意味着它可以无缝对接现有的S3生态系统工具、库和应用程序，无需修改代码即可迁移至MinIO或在两者之间切换。设计理念：以极简主义为设计理念，MinIO易于安装和配置，适合各种规模的部署，从开发环境到生产集群。
service-mesh 实战
weixin_52943021的博客
04-22 865
service 有 Cluster IP 和 NodePort 两种方式1. Cluster IP 解决集群内部的访问 内部有内置的负载均衡2. NodePort 保证外部的请求能够访问集群内部 他的缺点是会占用各个物理机的端口 这样是很不安全的，所以，下面我们来回顾一下 Igress 组件这是 istio 官方给我们提供的案例，Bookinfo 应用中的几个微服务是由不同的语言编写的。
Langchain-chatchat： Langchain源码debug
2401_85343303的博客
06-17 1152
这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
qkh1234567的博客
08-04 526
利用 Yuan 大模型、向量数据库和 LlamaIndex 助力大模型检索增强生成技术，为 NLP 领域开辟了一个可能性领域。这个管道不仅可以理解和生成文本，而且还利用庞大的信息数据库来增强其响应，使其在聊天机器人、推荐系统等各种应用程序中具有难以置信的强大功能。然而，旅程并没有就此结束。NLP 的世界正在迅速发展，保持最新趋势和技术的更新至关重要。这里讨论的实现是进入更广泛、更复杂的语言理解和生成世界的垫脚石。不断试验，不断学习，最重要的是不断创新。
milvus-sdk-node:Milvus 节点 SDK
07-24
Milvus2-sdk-节点 这是milvus2-sdk-node对Milvus的基本介绍。 all 函数将返回一个 promise，因此我们可以使用 async await 来获取结果。 依赖关系 Milvus：v2.x 节点：v12+ 安装 npm install @ zilliz / milvus2 - ...
Python库 | milvus-test-0.1.0.tar.gz
04-10
资源分类：Python库 所属语言：Python 资源全名：milvus-test-0.1.0.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
《向量数据库》-向量数据库 Milvus 是什么.pdf
07-08
**向量数据库概念** 向量数据库是一种专门...总之，Milvus 是一个功能强大的向量数据库，它的出现极大地推动了非结构化数据的处理能力，为人工智能、推荐系统、多媒体分析等领域提供了高效的数据存储和检索解决方案。
Python库 | pymilvus-test-0.2.29.tar.gz
03-09
开发者可以批量或单个地插入向量数据，并且Pymilvus会自动处理数据的编码和存储。这个过程对于处理大规模数据尤其重要，因为它允许快速有效地导入大量高维向量。 查询和检索是Pymilvus的另一大亮点。通过设置查询...
milvus-demo-image-search
05-13
1. **向量数据库**：Milvus作为一个向量数据库，能够高效地存储和检索高维向量数据。这些向量通常由深度学习模型生成，代表了图像、声音或文本的特征。向量数据库的设计目标是支持大规模的相似性查询，而不是精确...
《Milvus Cloud向量数据库指南》——什么是二进制嵌入？
LCHub低代码社区
08-03 102
在这篇博客文章中，我们将介绍二进制嵌入的概念，阐述它们的定义特征、优势以及与其他嵌入类型的比较优势。例如，一个稀疏的句子嵌入可能表现为[0, 0, 2.5, 0, 0, -1.2, 0, 0, 0, 3.7, ...]，其中大多数维度都是零。例如，“cat”的二进制单词嵌入可以表示为[0, 1, 0, 1, 1, 0, 0, 1, ...]，其中每个维度都是二进制的。在本指南中，你已经探索了二进制嵌入的概念，将其与密集和稀疏嵌入进行了对比，并突出了它们在存储效率和计算速度方面的优势。
Python爬虫与MongoDB的完美结合
weixin_52392194的博客
08-03 653
我们掌握了在Windows和Linux系统下安装MongoDB，设计适合爬虫存储数据的写入规范，并通过实际爬虫示例展示了如何将爬取到的数据存储到MongoDB中。此外，还进行了MongoDB性能优化，提高了数据存储和查询的效率。
jupyter下载
Einstein·Jun
08-06 311
Anaconda下载 参考链接：https://blog.csdn.net/qq_48372575/article/details/125630622 设置Jupyter Notebook的代码路径 在“此电脑”中搜索。删除最后一个""后面的的内容，包括“\”。 用记事本打开它。 按下ctrl+F就可以开始查找。查找内容如下： 找到之后，右键该文件，找到“发送到”，找到“桌面快捷方式”。然后就会发现桌面上已经建立好了！
在 Python 和 C++ 环境下安装和使用 ONNX Runtime
CDBmax的博客
08-03 345
对于 GPU 版本的 ONNX Runtime，需要安装 CUDA 和 cuDNN。请检查 CUDA 执行提供程序的要求以获取兼容版本的 CUDA 和 cuDNN。通过上述步骤和示例代码，您可以在 Python 和 C++ 环境下安装并使用 ONNX Runtime 进行模型推理。《windows端可以用 vs编辑器配置相应的头文件、库文件》《这部分可以去B站有很多教学视频讲的更详细》
【面试题】寻找两个正序数组的中位数
联系方式：927632640
08-06 348
面试学习给定两个大小分别为 m 和 n 的正序数组 nums1 和 nums2，我们需要找到这两个数组的中位数。下面是详细的解题步骤和 Python 代码示例。
书生大模型实战营第三期——入门岛——python基础知识
最新发布
qq_46576562的博客
08-06 198
昇思基础课程打卡（SPONGE课前学习）9.使用静态图加速
cftang9999的专栏
08-06 465
AI编译框架分为两种运行模式，分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行，但也支持手工切换为静态图模式。
PAI-DSW中对齐NoteBook和命令行的Python环境
MilkLeong的博客
08-02 741
我认为在最开始NoteBook和命令行的Python环境是一致的，只是我前面在部署LLaMA-Factory时进行了如下操作将命令行的Python环境改成了/root/anaconda3/bin/python。具体详见。
python游戏开发之五子棋游戏制作
m0_65482549的博客
08-05 1245
它通过简洁明了的语法和逻辑结构，提高了代码的可读性和可维护性。通过引入交互性更强的用户输入方式，使得玩家可以更直观地参与游戏，增强了游戏的可玩性和用户体验。总的来说，这段 Python 在保持游戏逻辑不变的情况下，提升了代码的质量和可玩性，为开发者和玩家带来了更好的体验。如有侵权，请联系删除。
milvus2 安装
10-13
milvus2 是一个开源的向量数据库，支持高效的向量相似度搜索。以下是 milvus2 的安装步骤： 1. 安装 Docker 和 Docker Compose ``` sudo apt-get update sudo apt-get install docker.io sudo systemctl start docker sudo systemctl enable docker sudo apt-get install docker-compose ``` 2. 下载 milvus2 的 Docker Compose 配置文件 ``` wget https://raw.githubusercontent.com/milvus-io/milvus/v2.0.0-rc7/docker/deploy/docker-compose.yml -O docker-compose.yml ``` 3. 启动 milvus2 ``` sudo docker-compose up -d ``` 4. 等待一段时间，直到 milvus2 启动完成。可以通过以下命令查看 milvus2 的状态： ``` sudo docker-compose ps ``` 5. 使用 Python SDK 连接 milvus2 进行向量操作。可以通过以下命令安装 Python SDK： ``` pip install pymilvus==2.0.0rc7 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值