【论文阅读】[VAC] Visual Attention Consistency under Image Transforms for Multi-Label Image Classification

目录

概述

写作动机

问题描述

网络架构

两个损失函数

---

概述

• 图像变化下的注意力一致性在多标签图像分类下的应用。
• 本文使用很简单的方法利用class attention map（CAM）使用一个称作Attention consistency loss 的无监督的损失函数来进行不变性的约束。
• 具有强可解释性，并且也达到了很好的效果

写作动机

• 人类的视觉感知对图像的变换（旋转、缩放、反转等）具有很强的不变性，而这种不变性在CNNs中是有缺陷的。作者希望网络也有这种作用
• 本文提出了data augumentation（数据增广）的一个缺陷，我对它的理解是：图像的一些变换（如旋转）应该是比较渐层能学习到的，但是在一般使用数据增广的策略中，都只是使用最后loss来对这种变换进行学习。作者认为这是不合理的。
• related study并没有很好的解决consistency的问题

问题描述

使用现有的CNN（中间行）和提出的方法（底部行），从原始和水平翻转的图像中对标签(a)“face mask”和(b)“jeans”进行分类的注意力热图说明。

输入两张图片，一张原图，一张经过变换

输出分类结果

using what？

1. CAP
2. LOSS FUNCTION

网络架构

两个损失函数

• Multi-label image classification loss
• Attention consistency loss