Concurrent Linguistic Error Detection (CLED) for Large Language Models

本文是LLM系列文章，针对《Concurrent Linguistic Error Detection (CLED) for Large Language Models》的翻译。

摘要

大型语言模型（LLM）的广泛采用使其可靠性成为一个紧迫的问题。错误检测是减轻其对系统影响的第一步，因此，LLM的有效错误检测是一个重要问题。在许多设置中，LLM被视为无法访问内部节点的黑盒；这防止了使用许多需要访问模型内部节点的错误检测方案。一个有趣的观察结果是，LLM在无错误操作中的输出应该是有效的普通文本。因此，当文本无效或与正常文本有显著差异时，很可能存在错误。基于这一观察，我们建议执行并发语言错误检测（CLED）；该方案提取LLM生成的文本的一些语言特征，并将它们提供给检测错误的并发分类器。由于所提出的错误检测机制仅依赖于模型的输出，因此它可以用于无法访问内部节点的LLM。所提出的CLED方案在用于新闻摘要的T5模型和用于翻译的OPUSMT模型上进行了评估。在这两种情况下，都使用了相同的语言特征集进行错误检测，以说明所提出的方案在特定情况之外的适用性。结果表明，CLED可以以较低的开销代价检测大多数错误。并发分类器的使用还能够在错误检测有效性及其相关开销之间进行权衡，从而为设计者提供灵活性。

1 引言

2 前言

3 LLMS的可靠性评估

4 并发语言错误检测（CLED）

5 评估

6 结论

本文提出了并发语言错误