本文是LLM系列文章,针对《Uncertainty Awareness of Large Language Models Under Code
Distribution Shifts
摘要
大型语言模型(LLM)已被广泛应用于编程语言分析,以提高人类生产力。然而,它们的可靠性可能会受到各种代码分布变化的影响,导致输出不一致。虽然已知概率方法可以通过不确定性校准和估计来减轻这种影响,但与它们在基于图像的任务中的应用相比,它们在语言领域的功效仍有待探索。在这项工作中,我们首先介绍了一个大规模的基准数据集,其中包含了三种不同强度的代码分布变化的现实模式。然后,我们使用这些移位的代码片段,深入研究了应用于CodeLlama的最先进的概率方法。我们观察到,这些方法通常提高了CodeLlama的不确定性意识,提高了校准质量和不确定性估计(UE)精度。然而,我们的研究进一步揭示了不同标准的不同表现动态(例如,校准误差与错误分类检测)以及疗效和效率之间的权衡,强调了根据具体情况进行的必要方法选择。
1 引言
2 相关工作
3 数据集配置
4 实验
5 进一步分析
6 结论
LLM在各种代码分布变化下容易出现性能下降。这项研究确定了三种现实世界中对CodeLlama的预测质量产生不利影响的代码分布偏移模式。我们研究了五种前沿的概率方法,重点关注它们在这些变化背景下的校准能力和不确定性估计(UE)功效。我们的研究