开始使用 Chroma 向量存储：开发者生产力的提升利器

aehrutktrjk

于 2024-09-30 22:13:25 发布

阅读量173

点赞数 3

文章标签：数据库 python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142664699

版权

引言

在近年来的技术发展中，向量存储变得越来越重要，特别是在处理大型语言模型（LLM）时。Chroma 是一个专为开发者设计的 AI 原生开源向量数据库，旨在提升开发者的生产力和幸福感。本文将带您快速入门 Chroma，结合代码示例展示其强大功能。

主要内容

1. 环境设置

首先，安装 langchain-chroma 集成包：

pip install -qU "langchain-chroma>=0.1.2"

凭证

Chroma 不需要任何凭证即可使用，安装包即可。

2. 初始化向量存储

我们将介绍如何使用不同的嵌入模型初始化 Chroma 向量存储。

使用 OpenAI 嵌入

pip install -qU langchain-openai

import os
import getpass
from langchain_openai import OpenAIEmbeddings

os.environ["OPENAI_API_KEY"] = getpass.getpass()
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")

使用 HuggingFace 嵌入

pip install -qU langchain-huggingface

from langchain_huggingface import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(model="sentence-transformers/all-mpnet-base-v2")

使用 Fake 嵌入

pip install -qU langchain-core

from langchain_core.embeddings import FakeEmbeddings

embeddings = FakeEmbeddings(size=4096)

初始化 Chroma 存储

from langchain_chroma import Chroma

vector_store = Chroma(
    collection_name="example_collection",
    embedding_function=embeddings,
    persist_directory="./chroma_langchain_db",  # 使用API代理服务提高访问稳定性
)

3. 从客户端初始化

可以通过 Chroma 客户端初始化，便于访问底层数据库。

import chromadb

persistent_client = chromadb.PersistentClient()
collection = persistent_client.get_or_create_collection("collection_name")
collection.add(ids=["1", "2", "3"], documents=["a", "b", "c"])

vector_store_from_client = Chroma(
    client=persistent_client,
    collection_name="collection_name",
    embedding_function=embeddings,
)

代码示例

以下示例展示了如何向向量存储添加文档：

from uuid import uuid4
from langchain_core.documents import Document

documents = [
    Document(page_content="Text content 1", metadata={"source": "news"}, id=1),
    Document(page_content="Text content 2", metadata={"source": "tweet"}, id=2),
    # 更多文档...
]

uuids = [str(uuid4()) for _ in range(len(documents))]
vector_store.add_documents(documents=documents, ids=uuids)