论文阅读心得-2：《Embedding Complementary Deep Networks for Image Classification》

论文链接：http://openaccess.thecvf.com/content_CVPR_2019/papers/Chen_Embedding_Complementary_Deep_Networks_for_Image_Classification_CVPR_2019_paper.pdf

摘要：调整对象类的重要性以适应它们的错误率，我们的深度嵌入算法可以连续地训练多个互补的深度网络，其中每个算法都以一种简单而困难的方式专注于为对象类的不同子集实现更高的准确率。通过整合这些互补的深度网络来生成一个集成网络，我们的深度嵌入算法可以提高硬对象类的准确率。

1、介绍：

1）集成分类器（boosting classifiers）：多个弱监督分类器集成在一些。本文使用Deep networks 取代弱监督分类器，通过集成其中嵌入多个deep networks实现集成分类器的效果。

2）深层网络将来自硬对象类的错误和来自简单对象类的错误同等重要。值得注意的是，对象类在它们的学习复杂性上可能有显著的差异(例如，，一些对象类可能比其他的更难识别)。因此，硬对象类和简单对象类的错误可能对优化它们的联合目标函数有显著不同的影响。因此，对于大范围的视觉识别来说，对于难识别类和易识别类学习联合深度网络可能不是一个最优的解决方案，因为这种联合深度网络对难识别类可能没有很强的识别能力，导致准确率较低。

3）大尺度图像分类中获得更高的准确率，可以采用三种解决方案使组合的深度网络多样化，从而产生更具鉴别性的集合:

(a) 根据错误率和大多数现有的深度增强算法对训练样本进行加权;

(b)通过使用不同的模型参数或使用不同的样本子集和一些深度嵌入算法来学习多个深度网络;

(c)训练多个互补的深度网络，例如，这种互补的深度网络是通过以一种易于实现的方式，对不同对象类子集实现更高的准确率，从而实现相互增强的顺序训练。

据我们所知，第三个方向(即到目前为止，还没有人研究过(比如训练和嵌入互补的深层网络)

为了提高大规模图像分类的准确率，提出了一种深度嵌入算法，对多个互补深度网络进行训练和组合，生成更具鉴别性的集成网络。

2、现状：

1）深度学习：忽略对象类在学习复杂性上的显著差异，例如，一些对象类可能比其他类更难识别，并且它们的联合目标函数的梯度对所有对象类来说不是统一的。因此，对于难对象类和易对象类，学习联合深度网络可能不是大规模图像分类的最优解决方案。因此，开发新的方法来学习难对象类的深层网络和简单对象类的深层网络是很有吸引力的。

2）我们的深度嵌入算法侧重于结合多个互补的深度网络，生成一个集成网络：

（a）来自硬对象类的错误被赋予了更大的重要性;

（b）多个互补的深度网络按顺序进行训练，每个深度网络都以一种易于实现的方式为对象类的不同子集实现更高的准确率，从而实现相互增强。

3、方法：