[AstraDB的强大功能：使用Langchain轻松加载文档]

sjufgwgfhoia

于 2024-10-03 05:58:38 发布

阅读量71

点赞数 4

文章标签： langchain 数据库 oracle python

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142688217

版权

# AstraDB的强大功能：使用Langchain轻松加载文档

## 引言

在大数据和AI应用的时代，对于高效且灵活的数据库需求不断增长。AstraDB是基于Cassandra的无服务器数据库，支持矢量化操作，并通过简单易用的JSON API提供服务。在本篇文章中，我们将介绍如何使用Langchain的AstraDB文档加载器从AstraDB数据库中提取文档。

## 主要内容

### AstraDB文档加载器概述

AstraDB文档加载器能够从AstraDB数据库中返回Langchain文档列表。加载器需要以下参数：

- `api_endpoint`: AstraDB API端点，例如 `https://01234567-89ab-cdef-0123-456789abcdef-us-east1.apps.astra.datastax.com`
- `token`: AstraDB令牌，例如 `AstraCS:6gBhNmsk135....`
- `collection_name`: AstraDB集合名称
- `namespace`: （可选）AstraDB命名空间
- `filter_criteria`: （可选）用于查询的过滤条件
- `projection`: （可选）用于查询的投影
- `find_options`: （可选）用于查询的选项
- `nb_prefetched`: （可选）加载器预取的文档数量
- `extraction_function`: （可选）将AstraDB文档转换为Langchain `page_content` 字符串的函数，默认是 `json.dumps`

文档加载器会将以下元数据设置为Langchain文档的元数据输出：

```json
{
    "metadata": {
        "namespace": "...",
        "api_endpoint": "...",
        "collection": "..."
    }
}

使用AstraDB文档加载器加载文档

首先，从 langchain_community.document_loaders 导入 AstraDBLoader。然后配置API端点和令牌。

from langchain_community.document_loaders import AstraDBLoader
from getpass import getpass

# 使用API代理服务提高访问稳定性
ASTRA_DB_API_ENDPOINT = input("ASTRA_DB_API_ENDPOINT = ")
ASTRA_DB_APPLICATION_TOKEN = getpass("ASTRA_DB_APPLICATION_TOKEN = ")

loader = AstraDBLoader(
    api_endpoint=ASTRA_DB_API_ENDPOINT,
    token=ASTRA_DB_APPLICATION_TOKEN,
    collection_name="movie_reviews",
    projection={"title": 1, "reviewtext": 1},
    find_options={"limit": 10},
)

docs = loader.load()

# 检查提取的第一个文档
print(docs[0])