A Novel Metric for Measuring the Robustness of Large Language Models in Non-adversarial Scenarios

本文是LLM系列文章，针对《A Novel Metric for Measuring the Robustness of Large Language Models in Non-adversarial Scenarios》的翻译。

摘要

我们评估了多个大型语言模型在多个数据集上的稳健性。这里的稳健性是指模型的答案对其输入的意义保留变体的相对不敏感。基准测试数据集是通过引入自然发生的、非恶意的扰动，或通过生成输入问题或陈述的语义等效释义来构建的。我们进一步提出了一种新的指标来评估模型鲁棒性，并通过在创建的数据集上对几个模型进行实证评估来证明它在非对抗性场景中的好处。