论文阅读：Automated Assessment of Fidelity and Interpretability: An Evaluation Framework for Large Langua

Automated Assessment of Fidelity and Interpretability: An Evaluation Framework for Large Language Models’ Explanations (Student Abstract)
这篇论文介绍了一个用于评估大型语言模型（LLMs）生成的自由文本理由的质量的框架，特别关注两个维度：保真度和可解释性。以下是对论文的主要内容的总结：

1. 背景：随着LLMs在多个领域的广泛应用，评估其解释的质量变得至关重要。

2. 保真度和可解释性：

   • 保真度：指解释准确反映模型实际行为的程度，包括忠实度和效用两个组成部分。忠实度反映解释与模型内部工作机制的一致性；效用评估解释的信息量和简洁性。
   • 可解释性：衡量用户理解模型理由的容易程度，从认知语言学的角度进行评估，分为理由一致性、认知流畅性和认知显著性三个维度。

3. 评估方法：

   • 对于保真度，论文提出了一种“文本扰动”方法，通过修改输入文本并评估解释的一致性来应对专有LLMs的不透明性。
   • 对于可解释性，使用语言模型代替人类评估者，减少主观性和成本。

4. 实验设计：选择立场检测任务进行实验，评估GPT-3.5的解释质量。设计了两种提示，一种是鼓励使用思维链（CoT），另一种是请求提供忠实解释（FCoT）。

5. 实验结果：

   • GPT-3.5的解释在保真度和可解释性方面表现适中。
   • 使用CoT提示的解释更准确，但中间步骤可能包含与最终决策无关的证据。
   • 使用FCoT提示虽然产生了更连贯的论点，但牺牲了保真度，显示了GPT-3.5对保真度的误解。

6. 结论：论文提出的框架能够评估限制用户访问的专有LLMs，且自动化的可解释性评估不需要人类注释者的参与。研究发现，当模型被提示生成忠实解释时，保真度会下降，这可能是由于对忠实度的误解。

整体而言，这篇论文提出了一个自动化的评估框架，旨在提高LLMs生成解释的质量和可靠性，并通过实验展示了该框架在评估GPT-3.5时的有效性。

这张图提供了论文中提出的评估框架的概览。下面是对图中各个部分的解释：

1. Dataset（数据集）：这是评估过程中使用的数据集，用于提取样本并对其进行评估。

2. Fidelity（保真度）：这是评估解释质量的一个重要维度，包括两个子维度：

   • Faithfulness（忠实度）：解释与模型内部工作机制的一致性。
   • Utility（效用）：解释的信息量和简洁性。

3. SemEval-2016 Task 6（SemEval-2016任务6）：这是一个特定的任务或数据集，可能作为评估框架的一个实例或基准。

4. GPT-3.5-0301：这指的是评估中使用的特定版本的GPT-3.5模型。

5. Predict Label & Prompt P（预测标签和提示P）：模型接收到输入并预测一个标签，同时使用提示P来引导模型生成解释。

6. Explain（解释）：模型生成的解释，这是评估的主要对象。

7. CoT / F-CoT（思维链/忠实思维链）：两种不同的提示方法，用于引导模型生成不同类型的解释。

8. Interpretability（可解释性）：评估解释的另一个重要维度，包括：

   • Cognitive Coherence（认知一致性）：解释内部逻辑的一致性。
   • Cognitive Salience（认知显著性）：解释中语言的可读性和复杂性。
   • Cognitive Fluency（认知流畅性）：解释逻辑与人类思维模式的一致性。

9. 0-Shot / 4-Shot（零样本/四样本）：这可能指的是在没有或有限的样本下评估模型的能力。

10. Rationale（理由）：模型生成的解释或理由，这是评估过程中分析和评分的对象。

11. Sample from Dataset（数据集中的样本）：从数据集中选取的样本，用于评估模型的解释。

12. Figure 1: Framework Overview（图1：框架概览）：这表明图1提供了整个评估框架的高层次视图。

整体来看，这张图展示了一个用于评估LLMs生成解释的框架，包括评估的数据集、评估的维度（保真度和可解释性）、使用的模型版本、评估的方法（CoT和F-CoT），以及评估的具体方面（认知一致性、认知显著性和认知流畅性）。