Milvus 数据迁移工具 -- Milvusdm

原创 于 2021-03-09 08:45:00 发布 · 2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#运维 #java #python #linux #大数据

Milvusdm是一款针对Milvus研发的数据迁移工具，支持Faiss、HDF5等格式的数据导入Milvus及Milvus间的数据迁移。本文详细介绍其使用方法及开源代码。

Milvusdm (Milvus Data Migration) 是一款针对 Milvus 研发的数据迁移工具，支持 Milvus 数据传输以及数据文件的导入与导出：

  • Faiss to Milvus：将未压缩的 Faiss 文件导入 Milvus

  • HDF5 to Milvus：将 HDF5 格式的文件导入 Milvus

  • Milvus to Milvus：支持 Milvus 之间的数据迁移

  • Milvus to HDF5：将 Milvus 数据批量备份为 HDF5 格式的本地文件

开发者使用 milvusdm 可以提升数据管理效率，降低运维成本。


  功能介绍

在之前发布的文章 Milvus 迁移升级攻略中，我们介绍了如何将 Milvus 数据从有网环境迁移到无网环境以及不同版本 Milvus 之间的数据迁移。数据迁移工具 milvusdm 可以通过指定 Milvus 中的集合或分区，帮助用户更智能地迁移所需数据。Milvusdm 十分易于使用，只需要运行一句 pip3 install pymilvusdm 指令即可快速安装。此外，您还可在 github 上获取本项目的开源代码。本文将介绍 milvusdm 工具的使用方法：

Faiss to Milvus

????使用示例

1. 下载 yaml 文件

$ wget https://raw.githubusercontent.com/milvus-io/milvus-tools/main/yamls/F2M.yaml

2. 配置参数

通过指定文件路径 data_path 读取 Faiss 的数据，并将读取到的向量和 ids 导入 Milvus 中。导入时需要指定参数 dest_host、dest_port、mode、

dest_collection_name、dest_partition_name 和 collection_parameter。

F2M:  
  milvus_version: 0.10.5  
  data_path: '/home/data/faiss.index'  
  dest_host: '127.0.0.1'  
  dest_port: 19530  
  mode: 'append'  
  dest_collection_name: 'test'  
  dest_partition_name: ''  
  collection_parameter:  &
最低0.47元/天 解锁文章
Zilliz Planet
关注
博客
写在 Milvus4 万 Star 之际：Zilliz这七年如何走来，又要去往何处？
11-28 530
2024年，Milvus入选Forrester向量数据库"领导者象限"，Star突破4万星的时刻，我们更加确信：AI基础设施没有弯道超车，Zilliz八年磨一剑的坚守，正是Milvus持续领跑的核心密码。从金融、制造、医疗，到政务、教育、运营管理，任何场景中非结构化数据的理解和利用，都能借助Zilliz Cloud的能力，立刻挖掘释放。2017年Zilliz成立时，那时候，行业还没有向量数据库的概念，我们率先提出了那个关键问题：向量逐渐成为AI时代非结构化数据的通用语义，那么我们究竟要如何高效的管理它？
博客
RAG不会过时，但你需要这10个上下文处理技巧|Context Engineering系列一
11-26 318
目前，主流的架构范式是使用专门的多模态编码器来处理特定类型的数据，例如使用CLIP（Contrastive Language-Image Pre-training）模型来处理视觉信息，或使用CLAP（Contrastive Language-Audio Pre-training）模型来处理音频信息。例如，N-CRITICS框架采用基于集成（ensemble-based）的评估方法，让多个不同的模型或同一个模型的不同实例对初始输出进行评估，并汇总它们的反馈来指导精炼过程，从而获得更全面、更独立的评价。
博客
RAG效果要提升，先搞定高质量Context Pruning
11-24 307
这样训练出来的模型，既能判断文档相关性，又能精准地做句子剪枝：推理时，Provence会给每个词打分，然后按句子聚合：如果一个句子里标记为1（相关）的词比标记为0（无关）的词多，就保留这个句子，否则就删掉。（Precision 62.35%，Recall 36.98%），在三个模型中相对较弱，显著低于Provence和XProvence，说明在out-of-domain场景下，模型输出的分数校准和泛化能力还有提升空间。更重要的是，这样生成的问题不会出现在任何模型的训练数据中，能够真实反映模型的泛化能力。
博客
月活11亿的Reddit ，怎么选向量数据库：Pgvector、Redis、Milvus、Qdrant
11-20 1002
最后，两款方案其实都满足了我们大部分需求，但考虑到Reddit 是一个依然在高速增长的平台，且未来的数据体量与运维难度还将节节攀升，选择Milvus 的更强扩展性，能让整体运行更放心，也更适配Reddit 公司的情况。最后，每个方案的总分会用方案在某项需求的得分乘以这项需求的权重，再加起来（比如 Qdrant 在 “重排序 / 分数合并” 这一项得 3 分，权重是 2，那这项就是 6 分，所有项都这么算再求和）。，一同进步，开源让客户自身也能深度参与、贡献代码的方案，这样一旦遇到问题，也自主快速修复。
博客
Milvus 落地顶级汽车资讯平台：如何支撑易车上亿用户的搜车需求？
11-18 442
（仅做变更数据同步，不做全量数据同步，不会影响业务），通过 Flink CDC 抓取 MySQL、SQL Server、MongoDB 等业务数据源变动，经 Kafka 传输、Flink Job 处理拼接、embedding 后，秒级推送至 Milvus 集群，延迟从 1 天降至秒级。对待召回数据生成相似问，提升召回率。，将文档、网页、图片等多源数据的清洗、加工、向量化封装成自动化任务，不仅保障了数据逻辑的一致性，还能充分利用大数据集群资源，提升数据处理效率，为 Milvus 提供了高质量的向量数据输入。
博客
沃尔沃RAG实战：企业级知识库，早就该放弃小分块策略
10-29 1016
此外，对于Milvus的选型，沃尔沃也没选择比较新的 PyMilvus v2 SDK 及其内置的embedding集成功能，而是选择了 SDK v1 中基于collection的旧版本，从而保证团队能够设计详细的元数据结构，并明确定义每种文档的存储、索引和检索方式。此外，针对格式繁多的非结构化数据，Milvus 支持的字段类型多达 64 种，这让沃尔沃不仅能存储嵌入向量，还能存储丰富的元数据 —— 从文档类型、来源到部门级分类等关键信息，覆盖全面。理由是，他们觉得较短的片段能带来更高的精度。
博客
先分块再向量化已经过时！先embedding再chunking才是王道
10-28 750
仅需调整 3 个核心超参数（最大分块大小、一二句之间的最低语义相似度需求、新句子与块内句子最大相似度的最低门槛），且超参数逻辑与分块大小自适应 —— 分块规模越大，新句子纳入的阈值越高。：计算当前分块 C 内所有句子向量间的最小 pairwise 余弦相似度，识别分块内语义最不相似的句子对，衡量分块内句子的关联紧密程度，进而判断新句子是否与分块内句子足够相似。核心决策逻辑为：若分块 C 内的最小相似度小于新句子与分块 C 的最大相似度，则新句子加入分块 C，否则开启新分块。（衡量新句子与分块的适配度）；
博客
DeepSeek-OCR解读：视觉如何成为长上下文压缩的新思路
10-22 1149
更重要的是，在计算效率层面，会将在线处理复杂度大幅降低。而 DeepSeek-OCR 通过 文本→图像→视觉 token的转换，直接将计算基础从文本 token 转为视觉 token，相当于用更低复杂度的载体重构问题。例如处理含折线图的财报时，视觉 token 可保留数据趋势，解码器能直接输出可编辑的 HTML 表格，避免传统方案仅能提取图下文字说明的局限。简单来说，用视觉模态作为长上下文的压缩载体，DeepSeek-OCR在保证精度的同时，可以实现模型算力与效率的突破。
博客
大模型落地，已经走到了用上下文工程续命时刻
10-13 1065
当你的AI应用需要从海量上下文中快速找到最相关的信息时，这种性能表现直接决定了用户体验的好坏。DeepMind在Gemini 2.5的技术报告中详细描述了这种现象：在Pokemon游戏实验中，AI智能体偶尔会产生关于游戏状态的错误判断，并将这些错误信息写入上下文。，甚至在完全不需要工具的场景中也会错误地尝试调用工具。从1KB的文本消息到100MB的视频片段，从简单的数值记录到复杂的嵌入向量。而且，基于“Lost in the middle”现象，大模型会给上下文的开头和结尾更高的权重，忽略中间部分内容。
博客
Filevine四亿刀融资跻身法律AI独角兽，背后的infra怎么搭
09-24 684
在Filevine看来，无论法律类AI还是更多行业的AI产品，其本质都不是取代传统人类，而是通过向量数据库等产品，来解决人类工作中的脏活、累活，以及多数无意义的案头工作。：一个案件通常包括数千份文件，包括法庭文件、诉状和命令、证词记录和专家证人陈述、历史案件档案和先例文件，此外，复杂的医疗记录，每个病人通常有数百页。在传统的法律工作流程中，律师60–80% 的时间，都被花在寻找、过滤、对齐法律条文以及各种信息上，每天消耗的时间至少6小时起步。，日均文件上传量超过 2,000 万页，总处理文档超十亿份。
博客
百图生科：如何搭建针对50亿蛋白质序列、上亿文献的AI检索系统
09-23 1023
生物数据形态多样，涵盖蛋白质结构、DNA 序列、细胞成像、科研文本等，生命科学的突破往往就藏在跨模态数据的关联中 ——比如生物体的DNA会影响其所能产生的蛋白质大类，而蛋白质结构与细胞病变之间也往往有着对应关系。基于稳定高效的基础设施，百图生科的目标是把技术转化为真正解决行业问题的可落地方案。具体路径上，通过大模型海量的生成、预测与优化能力，AI几乎可以生成无限药物组合可能，去针对过往未被考虑的疾病治疗靶点，生成具有优化特性的新药物分子或生物制剂，辅助和优化传统制药中的高通量筛选和生成设计环节。
博客
索引选不对，成本贵十倍！HNSW与IVF如何做选型
09-18 1377
如果采用了 PQ/SQ8 压缩，如果采用了 PQ/SQ8 压缩，系统会用查表法（lookup table method） 来加速距离计算：在查询开始时，预先计算查询向量与码本的距离，之后只需“查表+加和”即可快速得到近似距离。读者（查询向量）进门不用瞎转，直接锁定最相关的 2-3 个区域，在小范围里找书，效率自然翻倍。它的核心思路是“先粗分，再细排”：通过 k-means 聚类将海量高维向量划分到不同簇中，查询时只需进入最相关的少量候选簇，既避免了全表暴力扫描，又能兼顾速度与精度。
博客
企业级向量数据库选型，Milvus 和Zilliz Cloud哪个更合适？
09-17 1154
需要特别注意的是，对于多数新用户而言，Milvus 的自主运维需要一定的时间沉淀与技术认知积累，因此这类用户往往更倾向于选择商业化的 Milvus 产品（如云厂商托管版 Milvus、或者Zilliz cloud）。整体来说，通过灵活的机器类型、计算存储分离、降低的运维开销、AUTOINDEX 和弹性扩展，Zilliz Cloud 比自托管的 Milvus 更具成本效益，总拥有成本（TCO）可下降 50%以上。这些特性共同为您的组织带来了更高效、自动化和强大的向量搜索体验。
博客
报名倒计时丨9月20日Milvus社区北京Unstructured Data Meetup
09-15 381
Unstructured Data Meetup 以非结构化数据和 GenAI为主题，面向开发者的技术分享线下聚会，该活动源自硅谷，由向量数据库领先者 Zilliz 创办。活动受众包括，AI工程师，数据科学家，大数据工程师，AI产品经理等群体。通过 Unstructured Data Meetup，让更多非机构化数据和 GenAI 开发者共聚一堂，共同探索非机构化数据和 Gen AI 的最新进展及演进方向。快扫描下方二维码报名参加，让我们一起开启非结构化数据的新篇章，探索 AI 的无限可能！
博客
Meta如何给RAG做Context Engineering，让模型上下文增加16倍
09-12 1320
Meta 团队在 Slimpajama（书籍、arXiv 领域）、PG19、Proof-Pile 等主流数据集，以及 RAG、多轮对话、长文档摘要等任务中对 REFRAG 进行了全面验证，其优势主要体现在效率提升、上下文扩展、场景适配三个维度。同时，因为 LLM 是自回归生成的（依赖前文 token），REFRAG 的方法保证了原始 token 仍能参与生成，不破坏上下文连续性。目标是让解码器基于压缩上下文（编码器输出）的生成结果，尽可能接近基于完整上下文的结果，为下游任务（如 RAG）奠定基础。
博客
Milvus × 蜜度：如何基于向量数据库构建全网多模态舆情监控系统
09-10 758
对于蜜度来说，舆情管理的核心之一是热点图像数据处理，虽然数据底库的总量不大，只有几十万，但是需要扛住上千的并发访问，为此，蜜度采用了Milvus的内存多副本特性，在load 集合的时候加载了 50 多个副本，从而达到了5000+的qps。作为一家以语言智能与垂直大模型为核心的AI企业，蜜度科技一直服务于政企与媒体客户，提供高效、智能、安全的信息处理解决方案。例如，我们可以同时用向量搜索找出“语义相似”的图片，同时叠加时间范围、区域、事件标签等属性过滤器，从而实现更贴近用户业务的检索逻辑。
博客
实测|Perplexity最新AI浏览器产品Comet，真正的agent全家桶！
09-09 1485
Comet不仅找到了标记为"good first issue"的入门级任务，还根据难度和技术领域进行了分类，并提供了每个issue的简要描述和解决思路。同时，直接的协议控制也提供了更精细的页面状态管理能力.比如，面对Milvus这样复杂的开源项目时，让开发者不再需要在数百个GitHub页面间来回跳转，花费数小时阅读文档却仍然一头雾水，让复杂的技术学习变得像与ChatGPT对话一样简单？Milvus是全球领先的开源向量数据库产品，其快速迭代和高活跃度，带来了许多独特的新版本特性和众多复杂的产品概念。
博客
英伟达新论文：多数LLM应用等不到盈利，SLM比LLM更适合做agent
09-04 746
此外，小模型针对特定任务微调的难度与效果也往往更优，更重要的是大模型的泛化能力，应对的是复杂输入，但是agenticAI存在的必要性，即在于把复杂任务拆解成一系列简单可执行的子任务。部署 “数据采集工具”，记录智能体所有 “非人机交互（non-HCI）的模型调用”—— 包括输入给 LLM 的提示词（prompts）、LLM 输出的响应、智能体调用外部工具（如计算器、数据库）的具体内容，还可以有选择的记录 “响应延迟”（为后续优化速度做准备）。也是因此，坚持“事事都用 LLM”，实质上是在错配算力，
博客
报名开启丨9月20日Milvus社区北京Unstructured Data Meetup
09-03 520
Unstructured Data Meetup 以非结构化数据和 GenAI为主题，面向开发者的技术分享线下聚会，该活动源自硅谷，由向量数据库领先者 Zilliz 创办。活动受众包括，AI工程师，数据科学家，大数据工程师，AI产品经理等群体。通过 Unstructured Data Meetup，让更多非机构化数据和 GenAI 开发者共聚一堂，共同探索非机构化数据和 Gen AI 的最新进展及演进方向。快扫描下方二维码报名参加，让我们一起开启非结构化数据的新篇章，探索 AI 的无限可能！
博客
向量检索快比LLM还贵？不支持S3的向量数据库，迟早要淘汰！
09-03 938
先粗略查一批，再按条件筛 —— 好处是好实现，能利用统一的底层索引结构，缺点是在过滤条件较多时，TopK 结果可能严重不足（我们测到删除 50% 数据后，TopK 20 只能返回 15 个结果）。现如今，S3自身的定位，从简单的对象存储升级成为了一个多模冷存储，不仅仅是向量，图，KV，时序等多种模态，未来常见的业务几乎都可以通过S3Table的模式加速。在我们看来，在 AI 应用里，数据不应该被粗暴割裂成在线和离线，很多情况下，他们是随时动态转化的。因此，过去向量数据库最在意的召回速率，反而不再重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值