向量数据库个人笔记

最新推荐文章于 2024-07-27 02:06:21 发布

wayne_wn

最新推荐文章于 2024-07-27 02:06:21 发布

阅读量677

点赞数

文章标签：自然语言处理

本文链接：https://blog.csdn.net/weixin_45042995/article/details/130591082

版权

这篇笔记探讨了向量检索技术，包括其在非结构化数据搜索中的优势。重点介绍了Milvus向量数据库，特别是与Llama_index和Towhee的结合使用，以及Faiss库的高效搜索能力。文章还提到了向量数据库的部署和Web UI集成，以及作者对于掌握基础算法和工程运用的见解。

摘要由CSDN通过智能技术生成

向量数据库个人笔记

传统的搜索比如Mysql用b+树索引, EleasticSearch索引倒排但本质上都是精确匹配基于向量检索技术, 做相似度判断去寻找最相似, 可以更好的对图片, 视频等非结构化数据做检索, 玩的就是多维

什么是向量检索?

当查找与当前相似度最高的内容时, 向量搜索都可简化为这三个步骤

首先, 候选和已选内容都转为向量
遍历候选向量与已选向量做余弦相似度计算，然后按照计算出的余弦相似度排序
找出最相似的top N

Milvus向量数据库

Milvus&Llama_index

Llama_index结合milvus, 基于li的多种插件, 对于NLP十分擅长

# 使用llama_index读取数据
# 结合pylimvus导入到milvus数据库


#step1 - 读取数据为文档
from llama_index import download_loader
from glob import glob

MarkdownReader = download_loader("MarkdownReader")
markdownreader = MarkdownReader()

docs = []
for file in glob("./milvus-docs/site/en/**/*.md", recursive=True):
    docs.extend(markdownreader.load_data(file=file))


#step2 - 文档上传到数据库
from llama_index import GPTMilvusIndex
index = GPTMilvusIndex.from_documents(docs, host=HOST, port=PORT, overwrite=True)


#step3 - 查询数据
s = index.query("What is a collection?")
# Output: