xProtoNet和ProtoNet:可解释的图像分类
ProtoNet
论文地址:This Looks Like That: Deep Learning for Interpretable Image Recognition
代码地址:https://github.com/cfchen-duke/ProtoPNet
之前的分类模型
之前的分类模型几乎都Encoder-Decoder的形式,通过Encoder获取图像特征向量之后在通过Decoder进行分类。比如下图,encoder一般是预训练的模型,分类模型主要是训练deocder
而所谓的可解释也都是在这个部分之外再添加诸如attention的部分,和人的思考模式还是有点区别的。
我们人的思考可能是这样的模式(原文是用鸟来举例子,我觉得很没代入感,我用个二次元的例子):
我们看到一张图片(左),如果想识别它是不是雷电将军,我们可能会怎么想呢?我们心中肯定有一个雷电将军(右),这个图片说白了是我们心中对于她记忆种特征的一个具象化图。如果和我们心中的将军像到某种程度的话