LangChain整合Chroma实现本地知识库问答

最新推荐文章于 2024-10-06 14:35:04 发布

准备考公

最新推荐文章于 2024-10-06 14:35:04 发布

阅读量3.1k

点赞数

分类专栏： Chroma数据库文章标签： langchain 数据库 python

本文链接：https://blog.csdn.net/weixin_46515328/article/details/131855798

版权

Chroma数据库专栏收录该内容

3 篇文章 0 订阅

订阅专栏

该文章演示了如何将本地文本数据通过LangChain库整合Chroma，创建一个基于SentenceTransformerEmbeddings的本地知识库。经过文本分割、embedding处理后，数据被存储并持久化。之后，使用OpenAI的GPT-3.5-Turbo模型，通过LangChain的VectorDBQA实现本地问答功能。

摘要由CSDN通过智能技术生成

LangChain整合Chroma实现本地知识库问答

将本地embedding数据存储到Chroma，然后使用LangChain调用openai api完成本地知识库问答

from langchain.vectorstores import Chroma
from langchain.embeddings import SentenceTransformerEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.llms import OpenAI
from langchain.chains import VectorDBQA
from langchain.document_loaders import TextLoader

import os
os.environ["OPENAI_API_KEY"] = 'sk-xxx'



# 加载数据，并转换为document格式
loader = TextLoader('state_of_the_union.txt')
documents = loader.load()
# 分割document
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)


# 使用本地模型进行embedding，并将嵌入后的数据存储到db路径下
persist_directory = 'db'
embedding = SentenceTransformerEmbeddings()
vectordb = Chroma.from_documents(documents=texts, embedding=embedding,          persist_directory=persist_directory)


# 持久化数据，并释放内存
vectordb.persist()
vectordb = None


# 从磁盘中加载数据
vectordb = Chroma(persist_directory=persist_directory, embedding_function=embedding)
# 使用LangChain的VectorDBQA链，来初始化qa对象
qa = VectorDBQA.from_chain_type(llm=OpenAI(model_name="gpt-3.5-turbo"),  chain_type="stuff", vectorstore=vectordb)


# 输入query，调用qa对象
query = "What did the president say about Ketanji Brown Jackson"
qa.run(query)