深入了解Activeloop Deep Memory：提升你的RAG系统性能

本文链接：https://blog.csdn.net/nseejrukjhad/article/details/142415483

引言

Activeloop Deep Memory是一套工具，旨在为你的矢量存储优化性能，提升在大语言模型(LLM)应用中的准确性。检索增强生成（RAG）技术的兴起拓宽了其应用潜力，但在生产中集成RAG仍面临多重挑战。本文将探讨如何利用Activeloop Deep Memory来优化你的RAG系统，介绍其工作原理，解决常见问题，并提供代码示例。

主要内容

RAG系统的挑战

在实施RAG时，准确性、成本和延迟是三个主要考虑因素。尽管OpenAI的Ada模型可以在基础场景中提供满意的结果，但在更高准确性需求下，可能需要更高级的检索技术。这些技术会增加延迟和成本。

Activeloop Deep Memory的解决方案

Activeloop的Deep Memory通过一个微小的神经网络层来增强数据检索的准确性，同时保持成本效益和使用简便性。在不需要复杂技术的情况下，它可以将检索准确率提高至27%。

代码示例

以下是如何创建一个简单RAG系统的完整代码示例：

# 安装所需库
%pip install --upgrade --quiet tiktoken langchain-openai python-dotenv datasets langchain deeplake beautifulsoup4 html2text ragas

# 创建数据集
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import DeepLake
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
import os
import getpass

os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter your OpenAI API token: ")
os.environ["ACTIVELOOP_TOKEN"] = getpass.getpass("Enter your ActiveLoop API token: ")

db = DeepLake(
    dataset_path=f"hub://{ORG_ID}/deeplake-docs-deepmemory",
    embedding=OpenAIEmbeddings(),
    runtime={"tensor_db": True},
    token=os.getenv("ACTIVELOOP_TOKEN"),
    read_only=False,
)

# 解析页面链接
from urllib.parse import urljoin
import requests
from bs4 import BeautifulSoup

def get_all_links(url):
    response = requests.get(url)
    if response.status_code != 200:
        print(f"Failed to retrieve the page: {url}")
        return []
    soup = BeautifulSoup(response.content, "html.parser")
    links = [urljoin(url, a["href"]) for a in soup.find_all("a", href=True) if a["href"]]
    return links

base_url = "https://docs.deeplake.ai/en/latest/"
all_links = get_all_links(base_url)

# 加载和转换数据
from langchain_community.document_loaders.async_html import AsyncHtmlLoader

loader = AsyncHtmlLoader(all_links)
docs = loader.load()

from langchain_community.document_transformers import Html2TextTransformer

html2text = Html2TextTransformer()
docs_transformed = html2text.transform_documents(docs)

# 文本分块
from langchain_text_splitters import RecursiveCharacterTextSplitter

chunk_size = 4096
docs_new = []
text_splitter = RecursiveCharacterTextSplitter(chunk_size=chunk_size)

for doc in docs_transformed:
    if len(doc.page_content) < chunk_size:
        docs_new.append(doc)
    else:
        docs = text_splitter.create_documents([doc.page_content])
        docs_new.extend(docs)

# 填充矢量存储
docs = db.add_documents(docs_new)