伯克利最新研究揭示：如何“验证验证者”？LLM辅助评估与人类偏好更加对齐的新方法

DeepVisionary 每日深度学习前沿科技推送&顶会论文分享，与你一起了解前沿深度学习信息！

Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences

引言：引入人工智能评估工具的必要性与挑战

在人工智能（AI）领域，尤其是大型语言模型（LLM）的应用日益增多的今天，我们面临着一个不断增长的问题：如何有效、准确地评估这些模型的输出质量？随着模型的复杂性增加，单靠人工评估的效率低下且成本高昂，而完全依赖代码的自动评估又往往缺乏灵活性和准确性。因此，开发和利用高效的人工智能评估工具变得尤为重要。

评估工具的必要性

首先，评估工具能够帮助我们验证和保证模型输出的质量和可靠性。在自动驾驶、医疗诊断等关键应用中，一个未经充分验证的错误输出可能导致严重的后果。其次，这些工具还能帮助开发者理解和改进模型的行为，通过识别模型在特定任务上的弱点，指导未来的优化方向。

面临的挑战

然而，设计并实现一个既准确又高效的评估工具并非易事。这些挑战主要包括：

标准制定的主观性：如何设定评估标准，并确保这些标准能全面且客观地反映出模型的性能和限制？

评估的复杂性：评估工具需要能处理和解析大量的数据输入，同时对模型的输出进行快速而准确的评判。

评估结果的解释性：评估结果需要为模型开发者提供直观、易懂的反馈，帮助他们理解模型可能存在的问题。

随着技术的发展，我们期望通过混合主动的方法来解决这些挑战，即结合自动化工具和人工验证的优势，创造一个既高效又可靠的评估体系。此外，还需注意评估过程中可能出现的“标准漂移”现象，即评估标准可能会因应用场景的不同而需要调整。有效地管理这种漂移，确保评估工具长期的适应性和准确性，是我们未来需要重点解决的问题。

论文标题、机构、论文链接和项目地址

论文标题:

Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences

机构:

Shreya Shankar, J.D. Zamfirescu-Pereira, Björn Hartmann, Aditya G. Parameswaran - UC Berkeley, Berkeley, California, USA

Ian Arawjo - Université de Montréal, Montréal, Québec, Canada

论文链接:

https://arxiv.org/pdf/2404.12272.pdf

EvalGen的设计与实现

EvalGen的工作流程和设计原则：

EvalGen是一个旨在帮助开发者生成和评估LLM输出的评价工具。它结合了自动化和用户交互来优化评估准则的选择和断言的实施。EvalGen的设计理念基于这样的认识：评价过程中的人类参与是不可或缺的，尤其是在准则的初步定义和细化过程中。因此，EvalGen不仅提供工具自动生成评价标准的建议，还允许用户根据自己的需求编辑这些标准，甚至加入新的评价准则。

在EvalGen的工作流程中，首先是准则的提出和选择阶段，用户可以在系统推荐的基础上进行修改或补充。接下来是断言的生成与执行阶段，系统会根据选定的准则自动生成可能的断言，并在实际的LLM输出上执行这些断言以测试其有效性。此外，EvalGen设计了一个评分机制，允许用户对LLM的输出进行简单的好坏评价，这些反馈将直接用于调整断言的选择，以确保选出与用户评价最为一致的断言。

如何生成评估标准和执行候选断言

生成评估标准的过程是通过一个交互式界面实现的，用户可以在此界面上得到系统生成的评估标准建议，并根据需要进行编辑或添加。每个评估标准都对应一个或多个候选断言，这些断言可能是代码形式或直接调用另一个LLM来实现。

断言的执行过程是动态的，EvalGen会在用户评分的同时执行这些断言，并根据断言对输出的评价与用户给出的评分的一致性来动态调整断言的选择。这一过程中，系统会计算每个断言的选择性（即通过率），并据此调整其对输出的信心评分，这一评分反映了输出质量可能存在问题的概率。

用户交互界面介绍

EvalGen的用户界面设计注重简洁性和功能性，以支持用户高效地进行评估工作。界面包括几个主要部分：准则选择、断言生成与执行、以及评分和报告卡显示。用户首先在准则选择界面中定义和编辑评估标准，然后进入断言生成和执行界面，这里显示了对LLM输出执行断言的实时结果。

评分界面提供了简单的好坏按钮，用户通过这些按钮对LLM的输出进行评价。系统根据用户的评分调整断言的选择和优化。最终，用户可以在报告卡界面看到每个准则和整体的评估结果，包括准则与用户评分的一致性和相关的混淆矩阵，帮助用户了解评估标准与实际评价的对齐程度。

EvalGen旨在通过混合主动的方式优化LLM输出的评价过程，提高评估的准确性和效率。

评估方法与实验设置

评估标准与数据收集

在本研究中，评估标准的建立基于实验者对大型语言模型输出的需求。通过EvalGen界面，用户可以自动生成或手动定义评估标准，并通过LLM生成候选断言。这些断言在执行后将根据用户的反馈进行选择，以确保所选断言与用户的评分标准相符。数据收集方面，我们采用了两种策略：随机抽样和选择性抽样。随机抽样可能导致对数据集的代表性有偏差，而选择性抽样则根据断言的选择性对输出进行抽样，以期获得更高的评估准确性和用户满意度。

用户研究的方法和参与者信息

用户研究采用定性方法，邀请了九位行业从业者参与。这些参与者具有使用LLM进行生产级任务的经验，他们的反馈对于评估EvalGen系统的有效性至关重要。参与者通过远程会议平台进行实验，实验中他们使用EvalGen工具对LLM输出进行评分并提供反馈。通过这种互动，研究人员可以收集到关于评估工具如何帮助用户定义和优化评估标准的宝贵信息。

对比实验：EvalGen与SPADE的比较

EvalGen和SPADE两种工具在实验设置上有所不同。EvalGen允许用户在生成断言前通过用户界面直接参与定义评估标准，而SPADE则完全自动化这一过程。在对比实验中，我们发现EvalGen在用户参与下能生成更少且更精准的断言集，显示出较高的评估一致性。这种差异揭示了用户参与在评估准确性和系统接受度中的重要性，同时也显示了完全自动化方法可能忽视的用户需求细节。

用户研究结果与分析

用户对EvalGen生成断言的反馈

用户对EvalGen的总体反馈积极，认为这个系统在生成评估断言方面提供了有效的帮助。EvalGen通过询问用户对LLM输出的评分，进而选择与用户评分更为一致的断言实现，从而提高评估的准确性。然而，用户在实际使用过程中发现，需要反复调整评价标准，这种现象被称为“标准漂移”（criteria drift）。用户发现在对输出进行评分的过程中，帮助他们更精确地定义和调整评价标凈。例如，一些初始不被认为重要的标准，在用户看到某些特定的输出后，可能会被重新评估其重要性。

自动与手动评估断言的对比

EvalGen的自动化断言生成和手动评估之间的对比显示，虽然自动化工具在快速生成断言方面效率较高，但手动评估仍然在准确调整和反映用户期望方面发挥着不可替代的作用。自动化系统在处理大量数据时可以减轻用户的负担，但它们在理解复杂的用户需求和评价标准方面还存在局限。例如，在实验中使用EvalGen自动选出的断言与手动评估相比，虽然能够在一定程度上与用户的评分对齐，但是在处理边缘情况或非常具体的评价标准时，自动化断言的表现不如人工精细的调整。

用户对评估过程的看法和改进意见

用户对EvalGen评估过程的看法总体积极，但也提出了一些改进意见。一方面，用户欣赏EvalGen在简化评估流程和提高效率方面的优势；另一方面，他们指出在某些情况下，系统生成的断言与实际需求不完全对齐。用户建议增加更多的交互式元素，例如允许用户对特定断言进行微调，提供更多关于断言如何与评分对齐的可视化反馈，以及在断言选择过程中加入更多用户控制的环节。此外，用户也希望系统能提供对断言有效性的即时反馈，以便他们能够更快地迭代和优化评估标准。

讨论：

在研究和行业领域中，人工智能（AI）模型的评估一直是一个具有挑战性的问题。随着大语言模型（LLM）的迅速发展，它们所产生的输出往往需要验证和评估。然而，评估这些模型的准确性和可靠性并非易事，因为即使是用于评估的LLM也可能继承其评估对象的缺陷。这就引出了一个关键问题：谁来验证这些评估者？本文通过一个混合创新的方法——EvalGen，尝试解决这个问题。

评估的难点：

评估LLM输出的困难来自于多方面。首先，模型输出往往带有不确定性，这种不确定性可能来自模型自身的不稳定性、输入数据的变化，甚至是评估标准的不一致。此外，许多现有的评估系统要求用户直接信任LLM的输出，这种缺乏验证的信任会带来严重的问题。例如，LLM生成的评估器可能由于对语境的错误理解而产生错误的判断。特别是，当这些模型用于敏感领域如医疗记录处理或电子商务产品描述生成时，评估的准确性显得尤为重要。

EvalGen的解决方案

为了应对这些挑战，EvalGen引入了一个混合策略。该策略结合了自动化和人工干预，旨在通过人类反馈来改善LLM生成的评估函数。EvalGen的核心是通过用户定义的标准来生成评估函数，并利用这些标准进行实际的评估。此外，该系统允许用户在生成评估函数的过程中提供反馈，以确保评估的准确性。EvalGen采用了一种迭代的方式，通过不断调整和优化评估标准，确保最终输出符合用户的期望。

EvalGen的设计旨在解决评估过程中可能出现的问题。首先，它通过一种交互式界面，帮助用户定义评估标准。这些标准可以是自然语言描述或代码实现，具体取决于用户的需求。然后，EvalGen会根据用户的标准生成候选的评估函数，并在后台执行这些函数以验证LLM的输出。用户可以在评估过程中提供反馈，EvalGen会根据这些反馈调整评估函数的选择。

实验与发现

为了验证EvalGen的有效性，研究团队进行了实验和用户研究。在实验中，团队比较了EvalGen与现有评估工具的性能，发现EvalGen能够通过用户的参与提高评估的准确性。在用户研究中，团队邀请了9位在LLM领域有经验的开发者，观察他们在使用EvalGen时的体验和反馈。结果表明，参与者认为EvalGen提供了一个很好的起点，帮助他们生成评估函数。然而，他们也发现了评估过程中存在的挑战，例如某些标准的定义难度和评估过程中出现的标准漂移（criteria drift）现象。

标准漂移与未来发展：

标准漂移是指用户在评估过程中随着对LLM输出的理解而不断调整和改变评估标准的现象。这种漂移可能源于对模型输出的深入理解，也可能是由于不同用户对评估标准的不同解读。标准漂移的存在表明，评估是一个动态的过程，可能需要不断调整和优化。

为了应对标准漂移，未来的评估工具需要更加灵活，允许用户在评估过程中动态调整标准。此外，评估工具应考虑不同用户的需求，提供多样化的评估方式，以确保评估的准确性和可靠性。

总之，EvalGen通过一种混合策略，为LLM的评估提供了一种新的解决方案。通过用户的参与和反馈，它能够不断改进评估标准，提高评估的准确性。未来的发展方向包括应对标准漂移和提供更灵活的评估工具，以满足不同用户的需求。

总结与未来展望

本研究通过实现并测试EvalGen系统，探讨了如何利用大型语言模型（LLM）辅助人类评估LLM输出的有效性。EvalGen通过混合主动的方式引入用户反馈，以校准和优化评估标准，从而提高了评估的准确性和效率。系统通过自动化生成评估标准和执行断言，结合用户对LLM输出的实时评分，实现评估标准与用户偏好的对齐。研究通过定性分析和与开发者的实验验证了EvalGen在实际应用中的可行性和有效性。

实践意义与应用

EvalGen的开发和实验结果对于LLM应用开发者具有重要的指导意义。首先，该系统提供了一个验证评估标准准确性的有效工具，帮助开发者优化和调整LLM输出的评估过程。其次，EvalGen的设计理念和实现机制为其他领域的自动化评估工具提供了可借鉴的范例，特别是在需要处理大量数据和反馈的场景中。

未来研究方向

未来的研究可以在几个方向上进一步深化和拓展：

扩展评估标准的生成与优化：探索更多自动化生成和优化评估标凘的算法，以支持更广泛的应用场景和更复杂的评估需求。

增强用户交互设计：针对不同用户的需求，优化用户界面和交互流程，提高用户的操作便利性和系统的易用性。

实时动态调整评估机制：开发更灵活的评估策略，能够根据实时反馈动态调整，更好地适应快速变化的应用环境。

通过这些研究，我们可以期待EvalGen及类似工具在未来的评估任务中发挥更大的作用，特别是在提高大型语言模型应用的质量和可信度方面。

关注DeepVisionary 了解更多深度学习前沿科技信息&顶会论文分享！