使用Lantern和Postgres进行高效的向量相似度搜索

最新推荐文章于 2024-11-09 21:51:27 发布

dfvcbipanjr

最新推荐文章于 2024-11-09 21:51:27 发布

阅读量390

点赞数 5

文章标签： python

本文链接：https://blog.csdn.net/dfvcbipanjr/article/details/142745852

版权

引言

在现代应用中，处理大规模文本数据并从中提取有意义的信息是一项关键任务。Lantern作为一个开源向量相似搜索库，为Postgres数据库提供了强大的功能支持。本文将介绍如何使用Lantern进行向量相似度搜索，结合OpenAI Embeddings，实现快速、精确的文本检索。

主要内容

Lantern简介

Lantern是为Postgres设计的开源向量相似度搜索工具，支持精确和近似的最近邻搜索。其核心功能包括L2平方距离、汉明距离和余弦距离的计算，适用于多种场景。

环境设置

首先，需要安装langchain-community和其他相关库：

!pip install -qU langchain-community openai psycopg2-binary tiktoken

使用OpenAI Embeddings

获取OpenAI API密钥，并在代码中设置环境变量：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

加载文档和创建向量存储

通过langchain_community库加载文档并分割为小块：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Lantern
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()

连接Postgres数据库

CONNECTION_STRING = getpass.getpass("DB Connection String:")  # 数据库连接字符串

创建向量存储和执行相似度搜索

COLLECTION_NAME = "state_of_the_union_test"
db = Lantern.from_documents(
    embedding=embeddings,
    documents=docs,
    collection_name=COLLECTION_NAME,
    connection_string=CONNECTION_STRING,
    pre_delete_collection=True,
)

query = "What did the president say about Ketanji Brown Jackson"
docs_with_score = db.similarity_search_with_score(query)

for doc, score in docs_with_score:
    print("-" * 80)
    print("Score: ", score)
    print(doc.page_content)
    print("-" * 80)