语义检索系统【三】：基于Milvus 搭建召回系统抽取向量进行检索，加速索引

已于 2023-08-02 23:27:48 修改
阅读量1.2k 收藏 1
点赞数
分类专栏： NLP知识图谱相关技术业务落地方案和码源 搜索推荐系统相关技术业务落地方案及码源 文章标签： milvus 人工智能 自然语言处理 搜索系统 语义搜索 向量搜索 NLP
于 2023-08-02 20:41:39 首次发布
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/132070910
版权

在这里插入图片描述
搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源）

在这里插入图片描述
专栏详细介绍：搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源）

前人栽树后人乘凉，本专栏提供资料：

  1. 推荐系统算法库，包含推荐系统经典及最新算法讲解，以及涉及后续业务落地方案和码源
  2. 本专栏会持续更新业务落地方案以及码源。同时我也会整理总结出有价值的资料省去你大把时间，快速获取有价值信息进行科研or业务落地。帮助你快速完成任务落地，以及科研baseline

语义检索系统：基于Milvus 搭建召回系统抽取向量进行检索，加速索引

目标：使用 Milvus 搭建召回系统，然后使用训练好的语义索引模型，抽取向量，插入到 Mi

了解本专栏 订阅专栏 解锁全文
汀、人工智能
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
释放搜索潜力：基于Milvus快速搭建语义检索系统（快速版），让信息尽在掌握
丨汀、的博客
11-17 1119
释放搜索潜力：基于Milvus快速搭建语义检索系统（快速版），让信息尽在掌握
基于Milvus+ERNIE+SimCSE+IBN的学术文献语义检索系统数据集
07-28
在构建一个基于Milvus+ERNIE+SimCSE+IBN的学术文献语义检索系统数据集时，我们深入探讨了多个关键领域的技术及其在实际应用中的融合。这个系统旨在提升学术文献检索的准确性和效率，使得研究人员能够快速找到与他们...
Milvus应用开发实战【语义搜索】
新缸中之脑
05-07 1657
美国总统竞选活动即将到来。现在是回顾拜登政府上任头两年的一些演讲的好时机。搜索一些演讲记录以了解更多关于白宫迄今为止关于某些主题的信息不是很好吗？假设我们要搜索演讲的内容。我们该怎么做？我们可以使用语义搜索。语义搜索是目前人工智能 (AI) 中最热门的话题之一。随着我们看到像 ChatGPT 这样的自然语言处理 (NLP) 应用程序越来越受欢迎，它变得越来越重要。我们可以使用矢量数据库来缓存结果（例如使用 GPTCache），而不是重复 ping GPT，这在经济和生态上都是昂贵的。推荐：用。
相似问答检索——汽车之家的 Milvus 实践
ZILLIZ
09-02 973
✏️ 作者介绍：王寒&翟羽佳-汽车之家认知智能组 NLP 算法工程师| 项目背景汽车之家作为中国汽车互联网平台，拥有全球最大的汽车社区论坛。多年来积累了丰富的用户问答数据，能...
基于RocketQA和Milvus的语义搜索问答
weixin_32414617的博客
03-13 540
基于RocketQA和Milvus的语义搜索问答
动手搭建一套语义检索系统-学术文献检索
m0_63642362的博客
01-03 1786
基于PaddleNLP搭建一套完整的文献检索系统，包括召回，排序，Milvus召回系统等。
Milvus 在 Tokopedia 的应用 ｜ 让语义搜索更加智能
ZILLIZ
06-10 278
✏️作者介绍：Rahul Yadav，Tokopedia 工程师Tokopedia 是印度尼西亚最大的电商平台，目前拥有逾 9000 万月活跃用户和 860 万家商户，覆盖印尼 98% ...
基于Milvus+ERNIE+SimCSE+IBN的学术文献语义检索系统(码源大全)
07-11
基于Milvus+ERNIE+SimCSE+IBN的学术文献语义检索系统(码源大全) 检索系统存在于我们日常使用的很多产品中，比如商品搜索系统、学术文献检索系等等，本方案提供了检索系统完整实现。限定场景是用户通过输入检索词 ...
基于C++和多语言的向量数据库Milvus设计源码
04-08
Milvus向量数据库 - 基于C++和多语言开发，包含2954个文件，如Go、YAML、H、Python、C++、Shell、Rust等。该数据库是面向AI应用和向量相似度搜索的全球领先开源项目，能够加速非结构化数据的检索效率，是AI时代的...
人工智能-项目实践-信息检索-基于多特征融合的图像检索系统
02-29
基于多特征融合的图像检索系统 Introduction 这是一个基于多特征融合的图像检索系统。核心部分主要分为图像特征的提取与特征向量检索两部分： 特征提取。目前主要包括传统特征：颜色、纹理、glcm特征；深度学习...
Milvus开源向量数据库，提供向量相似度搜索
11-01
Milvus 是一款全球领先的开源向量数据库，赋能 AI 应用和向量相似度搜索，加速非结构化数据检索。用户在任何部署环境中均可获得始终如一的用户体验。 Milvus 2.0 是一款云原生向量数据库，采用存储与计算分离的架构...
Milvus 向量数据库进阶系列丨部署形态选型
ZILLIZ
07-25 735
Milvus 是目前发展最成熟的开源向量数据库项目。和 Qdrant、Weaviate、Chroma 这些近两年的新项目不同，Milvus 为开发者提供了多种部署形态。
《Milvus Cloud向量数据库指南》——ChatGLM：从GLM-130B到GLM-4
最新发布
LCHub低代码社区
07-28 79
在人工智能的浩瀚星空中，智谱AI如同一颗璀璨的新星，以其独特的技术视角和坚定的创新步伐，在通用人工智能（AGI）的征途上留下了深刻的足迹。技术生态总监贾伟在近期的一次分享中，不仅为我们描绘了智谱AI在AGI道路上的宏伟蓝图，还深入剖析了从GLM-130B这一巨型模型到更为精细、高效的GLM-4系列模型的演进历程，展现了公司在模型优化、应用场景拓展以及技术生态构建方面的卓越成就。
2024钉钉杯A题思路详解
全栈川川
07-26 1931
2024钉钉杯思路
常见的文心一言的指令
知码客
07-25 1781
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
AI智能技术驱动安全生产：智慧矿山视频智能监管新篇章
TSINGSEE青犀视频官方技术博客
07-26 779
当识别到有人员未按照要求穿戴安全帽、反光背心/工服时，将立即抓拍，并将告警信息上传到平台。
昇思25天学习打卡营第1天|快速入门
07-28 472
昇思大模型平台是一个集算法选型、创意分享、模型实验和大模型在线体验为一体的AI学习与实践社区，而且还内置了AI实验室，它覆盖多领域任务，体验全流程开发，支持用户在线训练和推理可视化，可创建自己的项目空间对待开发者很友好，提供云上开发环境，无需配置环境，既可灵活调试运行代码，每天免费使用8个小时。
重塑生态体系 深挖应用场景 萤石诠释AI时代智慧生活新图景
07-25 1357
从“1+4+N”自然进化到“2+5+N”产品生态体系，萤石十年来不断迭代、不断升级，为家居生活带来更智慧的交互、更丰富的场景，萤石的下一个十年值得期待。来自全国各地的萤石合作伙伴、行业从业者及相关媒体，共聚杭州，共同见证拥抱AI的萤石，将如何全新升级，AI加持下的智慧生活又有何不同。用户只需轻轻抬起手腕，即可实现对家中智能设备的远程操控，如智能门锁可视对讲、安全警报的查看以及智能场景的控制等，极大地提升了生活的便捷性与智能化水平。，确保了数据的安全性，为用户提供更快、更便捷、更安全的家庭存储新选择。
基于Milvus的多模态检索系统
11-20
基于 Milvus 的多模态检索系统可以实现对多种类型数据的检索，例如图像、文本、语音等。下面是一个简单的演示： 1. 首先，需要安装 Milvus 和相应的 Python SDK： ```shell pip install pymilvus==2.0.0rc5 pip install opencv-python==4.5.1.48 pip install Pillow==8.2.0 pip install grpcio==1.32.0 pip install grpcio-tools==1.32.0 ``` 2. 接下来，我们需要准备一些数据。这里以图像为例，将一些图像文件存储在本地文件夹中。 3. 然后，我们需要将这些图像向量化，并将它们插入到 Milvus 中。这里使用 ResNet50 模型提取图像特征，并使用 Milvus Python SDK 将特征向量插入到 Milvus 中。 ```python import os import cv2 import numpy as np from PIL import Image from milvus import Milvus, IndexType, MetricType, Status # 连接 Milvus milvus = Milvus(host='localhost', port='19530') # 创建 collection collection_name = 'image_collection' if collection_name in milvus.list_collections(): milvus.drop_collection(collection_name) milvus.create_collection(collection_name, {'fields': [ {'name': 'id', 'type': 'int64', 'is_primary': True}, {'name': 'embedding', 'type': 'float', 'params': {'dim': 2048}} ], 'segment_row_limit': 4096, 'auto_id': False}) # 加载 ResNet50 模型 model = cv2.dnn.readNetFromTorch('resnet50.t7') model.setPreferableBackend(cv2.dnn.DNN_BACKEND_OPENCV) model.setPreferableTarget(cv2.dnn.DNN_TARGET_CPU) # 提取图像特征并插入到 Milvus 中 data_path = 'image_data' for i, file_name in enumerate(os.listdir(data_path)): file_path = os.path.join(data_path, file_name) img = cv2.imread(file_path) img = cv2.resize(img, (224, 224)) blob = cv2.dnn.blobFromImage(img, 1, (224, 224), (104, 117, 123)) model.setInput(blob) embedding = model.forward().flatten() status, ids = milvus.insert(collection_name=collection_name, records=[ {'id': i, 'embedding': embedding.tolist()} ]) print(f'Insert image {file_name} with id {ids[0]}') # 创建索引 milvus.create_index(collection_name, IndexType.IVF_FLAT, {'nlist': 128}) ``` 4. 现在，我们已经将图像向量化并插入到 Milvus 中了。接下来，我们可以使用 Milvus 的向量相似度搜索功能来实现多模态检索。这里以图像检索为例，给定一张查询图像，我们可以使用同样的方式提取其特征向量，并在 Milvus 中搜索与其相似的图像。 ```python # 加载查询图像 query_path = 'query_image.jpg' query_img = cv2.imread(query_path) query_img = cv2.resize(query_img, (224, 224)) query_blob = cv2.dnn.blobFromImage(query_img, 1, (224, 224), (104, 117, 123)) # 提取查询图像特征 model.setInput(query_blob) query_embedding = model.forward().flatten() # 在 Milvus 中搜索相似的图像 search_param = {'nprobe': 16} status, results = milvus.search(collection_name, query_embedding.tolist(), 10, search_params=search_param) print(f'Search results: {results}') ``` 以上就是一个简单的基于 Milvus 的多模态检索系统的演示。除了图像检索，我们也可以使用类似的方式实现文本、语音等多种类型数据的检索。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值