图像识别解释方法的视觉演变

正文字数：4270  阅读时长：7分钟

图像识别（即 对图像中所显示的对象进行分类）是计算机视觉中的一项核心任务，因为它可以支持各种下游的应用程序（自动为照片加标签，为视障人士提供帮助等），并已成为机器学习（ML）算法的标准任务。

作者 / Ali Abdalla

原文链接 / https://thegradient.pub/a-visual-history-of-interpretation-for-image-recognition/

作者Ali Abdalla是Gradio的联合创始人之一，他是该公司的一名机器学习工程师。在此之前，他曾在特斯拉、iRobot和麻省理工学院工作过。他发表过几篇学术论文，并为许多开源项目做出了贡献。你可以在推特上搜索@si3luwa找到他。

在过去的十年中，深度学习（DL）算法已成为最具竞争力的图像识别算法。但是，它们默认是“黑匣子”算法，也就是说很难解释为什么它们会做出特定的预测。

为什么这会成为一个问题呢？这是因为ML模型的使用者通常出于以下原因而希望能够解释图像的哪些部分导致了算法的预测结果：

1. 机器学习调试模型,开发人员可以分析解释识别偏差和预测模型是否可能推广到新的图像

2. 机器学习模型的用户可能会更加信任一个模型，如果提供了为什么做出特定预测的解释的话。

3. 关于ML的法规（例如GDPR）要求一些算法决策可以用人类的语言来解释。

在以上因素的推动下，在过去的十年中，研究人员开发了许多不同的方法来打开深度学习的“黑匣子”，旨在使基础模型更具可解释性。有些方法对于某些种类的算法是特定的，而有些则是通用的。有些是快的，有些是慢的。

在本文中，我们概述了一些为图像识别而发明的解释方法，讨论了它们之间的权衡，并提供了一些示例和代码，您可以自己使用Gradio来尝试这些方法。

留一法

LEAVE-ONE-OUT

在深入研究之前，让我们从一个适用于任何类型图像分类的非常基本的算法开始：留一法（LOO）。

LOO是一种易于理解的方法。如果您要从头开始设计一种解释方法的话，那么这是您可能会想到的第一个算法。其想法是首先将输入图像分割为一系列较小的子区域。然后，运行一系列预测，每次遮罩（即将像素值设置为零）其中一个子区域。根据每个区域的“蒙版”相对于原始图像影响预测的程度，为每个区域分配一个重要度分数。直观地来说，这些分数量化了哪一部分的区域最有助于进行预测。

因此，如果我们在一个3x3的网格中将图像分成9个子区域，则LOO如下所示：