OT 思考

Rationalizing Text Matching: Learning Sparse Alignments via Optimal Transport

 

目录

Rationalizing Text Matching: Learning Sparse Alignments via Optimal Transport

1.background & motivation

2.problem definition

3.method framework

4.主实验

5.analysis & ablation study

6.critical thinking

---

1.background & motivation

模型以高忠诚度获得了非常稀疏的理由选择，同时与强大的注意力基线模型相比保留了预测准确性。

2.problem definition

 problems:one-to-one/different size

 

 

 

 

 
3.method framework

4.主实验

Data:

model:

5.analysis & ablation study

 document similarity:                                           

                                                               human alignment

 

6.critical thinking

可解释AI在多模态医学成像任务中的评估: 现有算法能否满足临床需求

在一份关于 MRI 的放射学报告中，放射科医师通常会观察和描述 T1 模态的解剖结构，以及 T2 模态的病理变化, 通过结合来自不同 MRI 模式的信号来推断病变的组成。
热图需要做到突出重要模态和 定位模型预测的重要特征。现有的 XAI 方法通常不是为临床目的而设计的。在特征级别不忠实于模型决策过程，不良和不稳定的解释性能可能会导致临床环境中的不良后果。鉴于医生的心理模型假设完全忠实的解释，对模型决策质量指示的可信度评估应优先于合理性评估。未来的工作需要提出既忠实于模型决策的解释方法，并且合理性评估更能表明模型决策的质量。

两个主要临床要求：解释如何忠实地描述 AI 模型的内部决策过程，以及人类对解释合理性的评估如何指示模型的决策质量。

本文提出了一种计算度量模态特定特征重要性（MSFI），它总结了上述关于多模态解释的临床模式。然后，对 16 种 XAI 方法进行了系统评估，这些方法涵盖了使用多模式 MRI 进行脑肿瘤分类任务中最常见的基于激活、梯度和扰动的方法。主要贡献是：
1. 对医学成像任务进行系统评估，包括定量和定性医师评估，以及基于解释真实性和合理性的基于计算评估的临床要求。结果表明，没有提出现有方法来满足特定于模态的医学成像解释的临床要求。
2. 制定并解决了多模态图像解释的新颖且具有临床意义的问题，因为它是单模态图像解释的广义形式。
3. 提出了计算评估指标 MSFI，它通过结合模态优先级和特征定位的临床模式来自动化人类评估过程。

1）Modality Importance (MI)：优先考虑重要的模态，但它是一个粗略的测量，并没有检查每个模态中的特定图像特征

 

 

2）Modality-Specific Feature Importance (MSFI)：与 IoU 等其他 ground truth 相似性度量不同，MSFI 较少依赖热图信号强度或 ground truth 定位掩码的面积，这使其成为一个稳健的度量。

 

MSFI 的实际应用：提议的 MSFI 可以被视为医生手动评估热图质量的替代。通过自动量化人工评估，MSFI 帮助 AI 从业者自动化 XAI 算法选择/优化过程，以识别其合理性度量与模型决策质量高度相关的算法。 MSFI 可以应用于其他多模态医学图像任务。它需要一批测试数据上的特征掩码，这些数据可以由人工注释或训练模型生成。根据任务的不同，特征掩码可以是特定于模态的，也可以对所有模态都相同（如 BraTS 数据集的情况）。 MSFI 指标是解决临床上重要的多模态解释问题的第一步。