开源项目分享：LLMLingua

🌟 项目名称：LLMLingua

🌟 公司：Microsoft

🌟 所属领域：大语言模型/人工智能

🌟 项目地址：https://github.com/microsoft/LLMLingua

🌟 一句话介绍：用来进行信息无损或者低损的 prompt 压缩

🌟 项目介绍：

LLMLingua 利用紧凑且训练有素的语言模型（例如 GPT2-small、LLaMA-7B）来识别和删除 Prompt 中的非必要 token。
这种方法能够在大型语言模型（LLM）中实现高效推理，实现高达 20 倍的压缩，且性能损失极小。

LongLLMLingua 缓解了 LLM 中的 “中途迷失（lost in the middle）” 问题，增强了长上下文信息处理。
它通过快速压缩降低成本并提高效率，仅使用 1/4 的令牌即可将 RAG 性能提高多达 21.4%。

LLMLingua-2 是一种体积小但功能强大的提示压缩方法，通过 GPT-4 的数据蒸馏进行训练，用于使用 BERT 级别的编码器进行令牌分类，在与任务无关的压缩方面表现出色。它在处理域外数据方面超过了 LLMLingua，性能提高了 3 倍至 6 倍。

• 💰 节省成本：以最小的损失减少 prompt 长度和生成时间。
• 📝 增强上下文支持：增强对较长上下文的支持，缓解“中间丢失”问题，并提升整体性能。
• ⚖️ 稳健性：无需额外的训练过程
• 🕵️ 知识保留：维护原始 prompt 信息，如 ICL（In-context learning, 例如 few shot learning） 和推理。
• 📜 KV-Cache 压缩：加速推理过程。
• 🪃 全面恢复：GPT-4 可以从压缩的 prompt 中恢复所有关键信息。