Debug图像分类模型：为什么模型会在生产环境中失效？

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”

因公众号更改了推送规则，记得读完点“在看”~下次AI公园的新文章就能及时出现在您的订阅列表中

---

作者：Emad Ezzeldin

编译：ronghuaiyang

导读

计算机视觉模型在训练、验证和测试集中可以正常工作，但在生产场景中失效。本文讨论模型在生产中失效的一些常见模式。

错误模式1：变体分类器(观察到了错误的地方)

模型预测了环境等虚假特征，而不是感兴趣的对象。例如，让我们看下面的示例，用预训练模型VGG16对图像的预测。这些图像是美洲狮和一些飞行昆虫的图像。虽然VGG16能够准确地预测美洲狮，但它在预测飞行昆虫身上失效了。从热图中可以看出，VGG16很好地聚焦了不变特征，即动物的身体。但是它没有聚焦在昆虫的身体上，而是分散在整个图像中。VGG16 是根据感兴趣的对象背景和环境等虚假特征预测的。因此，对于飞行昆虫物种，VGG16 是一个变体分类器。

错误模式2：生产中的观测到噪声（线索被隐藏了）

下面的图像是我从iNaturalist数据集中获取的。这些图像都被认为是有噪声的，因为主要特征模式并不明显。主要噪声模式包括照明、运动模糊、遮挡、小感兴趣区域和透视。

错误模式3：看到不存在的东西（pareidolia）

VGG16将飞行的昆虫预测为蜘蛛。

可以看出，VGG16看到了不存在的蜘蛛图案，这几乎接近人类对幻视症的认知现象。实际上，在计算机视觉模型中，pareidolia这种现象的发生是已知的。

错误模式4：错误的不变性特征（异常图像）

与pareidolia不同，感兴趣的对象可能具有来自两个或多个不同动物/对象的真实图案。接受过猫和狗训练的分类器会预测这是一只猫。除非它也接受过“未知”类别的第三类训练。

错误模式5：非常小的区别

在这种错误中，你可以看到非洲水牛和水牛之间的区别。该模型预测一个是另一个，但差异实际上非常小！

错误模式6：过拟合（只关注一个地方）

该模型对这只狗的品种几乎 100% 肯定，这是对的，但从热图来看，它似乎过拟合了狗的鼻子！

错误模式7：欠拟合（没有观察到所有的重要的区域）

—END—

英文原文：https://medium.com/@emad-ezzeldin4/debugging-computer-vision-image-classification-why-is-your-model-failing-in-production-11976e5311f2

请长按或扫描二维码关注本公众号

喜欢的话，请给我个在看吧！