探索Psychic API：如何加载和处理文档

最新推荐文章于 2024-11-04 21:51:40 发布

nseejrukjhad

最新推荐文章于 2024-11-04 21:51:40 发布

阅读量342

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/nseejrukjhad/article/details/142690923

版权

探索Psychic API：如何加载和处理文档

在这篇文章中，我们将探讨如何使用Psychic API加载文档，并将其转换为可用的嵌入以供进一步处理。我们会提供详细的步骤和代码示例，帮助你顺利实现这一功能。

引言

随着现代SaaS应用的普及，如何高效地从这些平台中获取和处理数据成为开发者们关注的重点。Psychic API提供了一种简便的方法来加载和管理这些数据。本篇文章旨在介绍使用Psychic API加载文档的基本过程，并展示如何将其转换为向量嵌入。

主要内容

1. 安装前置条件

在开始之前，请确保你已经完成以下步骤：

按照官方文档中的快速开始部分进行配置。
登录到Psychic仪表板并获取你的密钥。
在你的Web应用中安装前端React库，并让用户验证连接。

2. 加载文档

我们使用PsychicLoader类从连接中加载文档。每个连接都有一个连接器ID和连接ID。

# 如果没有安装psychicapi，请运行以下命令
!pip install psychicapi langchain-chroma

from langchain_community.document_loaders import PsychicLoader
from psychicapi import ConnectorId

# 创建用于Google Drive的文档加载器。还可以通过设置connector_id加载其他连接器
google_drive_loader = PsychicLoader(
    api_key="你的API密钥",
    connector_id=ConnectorId.gdrive.value,
    connection_id="google-test",
)

documents = google_drive_loader.load()

3. 文档转换为嵌入

加载文档后，我们可以将其转换为嵌入，并存储在像Chroma这样的向量数据库中。

from langchain.chains import RetrievalQAWithSourcesChain
from langchain_chroma import Chroma
from langchain_openai import OpenAI, OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()
docsearch = Chroma.from_documents(texts, embeddings)
chain = RetrievalQAWithSourcesChain.from_chain_type(
    OpenAI(temperature=0), chain_type="stuff", retriever=docsearch.as_retriever()
)

result = chain({"question": "what is psychic?"}, return_only_outputs=True)
print(result)