探索Psychic文档加载与矢量转换：实现强大的数据检索

afTFODguAKBF

于 2024-10-07 11:53:47 发布

阅读量142

点赞数 3

文章标签： python 开发语言

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/142737959

版权

引言

在现代软件开发中，快速加载和处理文档数据是一项核心能力。随着API的广泛使用，我们可以从不同的SaaS应用程序中获取文档。本篇文章将介绍如何使用Psychic API加载文档，并将其转换为可用于检索的向量形式。

主要内容

1. 准备工作

在开始之前，请确保你已按照Psychic的快速入门指南配置好你的环境，并获取了你的API密钥。然后安装必要的库：

# 安装psychicapi和langchain-chroma
!poetry run pip install psychicapi langchain-chroma

# 更新pip版本
!poetry run pip install --upgrade pip

2. 加载文档

Psychic API提供了一种方便的方法从不同的连接器加载文档数据。为了从Google Drive加载文档，我们可以使用PsychicLoader类：

from langchain_community.document_loaders import PsychicLoader
from psychicapi import ConnectorId

# 使用API代理服务提高访问稳定性
google_drive_loader = PsychicLoader(
    api_key="你的API密钥",
    connector_id=ConnectorId.gdrive.value,
    connection_id="google-test",
)

documents = google_drive_loader.load()

3. 转换文档为向量

一旦文档加载完成，我们可以使用langchain库将它们转换为向量，并存储在矢量数据库中以便后续的检索。

from langchain.chains import RetrievalQAWithSourcesChain
from langchain_chroma import Chroma
from langchain_openai import OpenAI, OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()
docsearch = Chroma.from_documents(texts, embeddings)
chain = RetrievalQAWithSourcesChain.from_chain_type(
    OpenAI(temperature=0), chain_type="stuff", retriever=docsearch.as_retriever()
)

# 示例查询
response = chain({"question": "What is Psychic?"}, return_only_outputs=True)
print(response)