优化文档处理效率：使用LLMLingua实现高效文档压缩

aehrutktrjk

于 2024-10-08 03:03:21 发布

阅读量209

点赞数 1

文章标签： easyui 前端 javascript python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142749682

版权

引言

随着大规模语言模型（LLM）的发展，其在自然语言处理任务中的应用不断增加。然而，LLM的计算和存储需求也成为一个挑战。LLMLingua提供了一种创新的方法，通过压缩输入文档，优化LLM的推理效率。本文将介绍如何使用LLMLingua实现文档压缩，提高处理效率。

主要内容

LLMLingua的工作原理

LLMLingua通过利用训练良好的语言模型（如GPT2-small或LLaMA-7B），有效识别并移除提示中的非必要token。这种方法可以在大模型环境下实现多达20倍的压缩，同时性能损失最小。

设置向量存储检索器

在本示例中，我们将使用一个简单的向量存储检索器来载入并存储文档，具体为2023年度国情咨文。然后，我们会检索这些文档，以获得高效的查询结果。

# 使用API代理服务提高访问稳定性
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

documents = TextLoader("state_of_the_union.txt").load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)

embedding = OpenAIEmbeddings(model="text-embedding-ada-002")
retriever = FAISS.from_documents(texts, embedding).as_retriever(search_kwargs={"k": 20})

使用LLMLingua进行文档压缩

使用ContextualCompressionRetriever和LLMLinguaCompressor结合LLM进行文档压缩。

from langchain.retrievers import ContextualCompressionRetriever
from langchain_community.document_compressors import LLMLinguaCompressor
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(temperature=0)

compressor = LLMLinguaCompressor(model_name="openai-community/gpt2", device_map="cpu")
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

compressed_docs = compression_retriever.invoke(
    "What did the president say about Ketanji Brown Jackson"
)
pretty_print_docs(compressed_docs)