CVPR2018: 更为鲁棒的分类器 卷积原型学习CPL

CVPR2018: 更为鲁棒的分类器 卷积原型学习CPL

一、 论文概述

本篇论文提出了导致CNN的鲁棒性的缺乏的原因，是最后的那一层softmax layer，由于softmax loss 是把问题设定在一个closed的空间，就不能很好的应用在open set的情境下。

• softmax loss在0~8的训练集下的特征抽取在二维空间的分布状况。
  

• 在0-9的测试集下的特征分布在二维空间下的特征分布状况

  由上可以看到softmax层在提取特征，在open-set的情况下，未经训练的类型，难以容易与其他类型混合在一起难以分辨。

本文由此提出了一个更为鲁棒的方法，去除了最后一层的softmax layer，将CNN和pattern recognition 传统常用的Prototype Learning结合在一起，并提出一些Loss，使得这种组合可训练，并且能够应用于open set的情境下。另外原型学习能够像regularation 那样增强模型特征的类内聚合能力。

由于使用了PL作为分类，在实验的数据集当中能够做到比较好的拒绝与增类学习（就是增加识别的类的数量的能力。）

二、以往相关的工作

对于softmax loss只能做到closed set这一点，也不是第一天为人所诟病。从Facenet开始，人们发现loss function的更改能够做到克服closed set的弊端，越来越多的loss function提出来解决这个问题，在表示学习这方面研究的论文也相当多。

包括有

• Large Margin Softmax Loss
• Angular Softmax Loss
• Center Loss
• Triplet Loss
• Triplet Center Loss

此处提出的解决方案又是传统算法的端到端训练的改进，传统算法有很多值得借鉴使用的地方，也可以作为深度学习研究的灵感来源。

本论文提出的损失函数直接作用于Prototype 和CNN，没有使用FC会有会就是

三、Prototype Cluster

原型聚类 最常见的方法就是LVQ（Learning Vector Quantization）学习向量量化，属于原型聚类，即试图找到一组原型向量来聚类，每个原型向量代表一个簇，将空间划分为若干个簇，从而对于任意的样本，可以将它划入到它距离最近的簇中，不同的是LVQ假设数据样本带有类别标记，因此可以利用这些类别标记来辅助聚类。 学习向量量化算法如下 ( 摘自于周志华《机器学习》

四、模型架构

本文提出的模型架构是，数据经过CNN提取特征向量，直接对特征向量进行聚类，每个类下面有k个子类，子类中心初始化随机，记为