什么是ablation study（消融实验）？

诸神缄默不语-个人CSDN博文目录

本文是对学术概念“ablation study（消融实验）”一词的介绍。

在深度学习论文中，ablation study往往是在论文最终提出的模型上，减少一些改进特征（如减少几层网络等），以验证相应改进特征的必要性。
（一般在跑ablation study的时候发现去掉改进效果更好的情况也是常有的）

以Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling一文举例论文是我随手挑的，我没仔细看，其ablation study部分：

在本文提出的TDS+SATM模型的基础上，ablation study比较了原模型与分别去掉（w/o是without的意思）customer utterances上的topic modeling、agent utterances上的topic modeling和都去掉后的实验效果，最后发现本文提出的模型效果最好，证明了模型的这些组成部分是有效的。

以下介绍一些ablation study概念之外的补充知识：

这个quora问题下的回答https://qr.ae/pGLSRk给出了另一个典型示例：LSTM模型一共有4个门，去掉一些门→GRU
此外本链接还提及，如果去掉一些特征后模型效果基本没变，就应该用更简单的模型（我认为应该是根据奥卡姆剃刀原理）。

在这个知乎回答什么是 ablation study？ - 尼箍纳斯凯奇的回答 - 知乎下的评论中提及“消融实验”这一概念的可能来源：

这个用法很可能是从神经科学借来的。有许多实验是通过损伤(ablate)一个或多个特定的神经元来研究它们的功能。

这个回答什么是 ablation study？ - 谢小六的回答 - 知乎介绍了“消融实验”源于20世纪实验心理学领域，其中动物的大脑部分被移除以研究其对其行为的影响，对应概念在Oxford reference上的详细解释：Ablation experiment - Oxford Reference
这一概念被机器学习界重视，则始自 Keras 深度学习框架的主要作者 Francois Chollet 在2018年6月发布的推文，强调ablation study对因果分析的意义：

Ablation studies are crucial for deep learning research – can’t stress this enough. Understanding causality in your system is the most straightforward way to generate reliable knowledge (the goal of any research). And ablation is a very low-effort way to look into causality.