通过语义压缩文本降低LLM成本

大型语言模型在处理自然语言文本方面表现出色，它们能够处理非结构化数据，并从大量信息中识别出相关内容。然而，这些模型都有一个共同的限制，即上下文窗口大小。上下文窗口是指模型能够同时处理的最大文本量，它限制了模型处理长文本或大量文本数据的能力。对于像Bazaarvoice这样的公司来说，这个限制尤为明显。Bazaarvoice一直在收集用户生成的产品评论，这些评论数量庞大且内容多样。为了提供产品评论摘要功能，Bazaarvoice需要处理数百万甚至数千万条评论，这远远超出了大多数LLM的上下文窗口限制。

一、语义压缩技术的提出

面对上述挑战，Bazaarvoice提出了一种创新的解决方案：语义压缩（知识蒸馏：大模型（LLM）中的模型压缩与知识转移技术）。该技术的核心思想是，许多评论表达了相同或相似的观点，因此可以通过识别并去除重复或相似的文本来减少输入到LLM中的文本量。这样不仅可以避免超出上下文窗口限制，还可以降低LLM的使用成本。