论文阅读学习 - CurriculumNet: Weakly Supervised Learning from Large-Scale Web Images

原文：论文阅读学习 - CurriculumNet: Weakly Supervised Learning from Large-Scale Web Images - AIUAI

论文：CurriculumNet: Weakly Supervised Learning from Large-Scale Web Images - ECCV2018

作者：Sheng Guo, Weilin Huang, Haozhi Zhang, Chenfan Zhuang, Dengke Dong, Matthew R. Scott, Dinglong Huang

团队：码隆科技

实现：<Github - research-curriculumnet - Caffe>

1. 主要点

• 对于大规模网络图像数据的半监督学习
• 利用课程学习(curriculum learning)实现的原则性学习策略(principled learning strategy)，以有效的处理大量噪声标签(noisy labels) 和数据不均衡(data imbalance) 问题.
• 设计新的课程学习方法，通过在特征空间中数据的分布密度(distribution density)，评估数据的复杂度；并以无监督的方式对数据复杂度进行排名.
• 实验说明，高度噪声标签也能够作为一种正则方法，提升模型的泛化能力.

2. 目标

有效的处理大规模网络图像数据集中存在大量噪声标签和数据不均衡的问题.

3. CurriculumNet

基于课程学习的思想，其类似于人类的学习过程，模型从简单的问题开始学起，然后逐渐学习越来越复杂的任务问题.

CurriculumNet 中设计了一种无监督课程学习方法，如图 Fig.2，逐渐的增加噪声标签数据的数据量. 主要包括三步：

[1] - 初始特征生成(initial features generation);

首先，采用全部的训练数据，学习初始模型；然后，利用训练的模型计算训练数据集中每一张图像的深度特征表示(如，FC 层输出特征).

[2] - 课程设计(curriculum design);

训练的初始模型旨在粗略地将训练图像映射到特征空间，以挖掘每一类别内图像的潜在结构及潜在关系; 其提供了定义图像复杂度的有效方法.

对定义的图像复杂度进行分析，以设计学习课程. 其中，每一类别内所有图像，根据复杂度次序，被划分为多个子集.

[3] - 课程学习(curriculum learning).

基于设计的课程，进行课程学习. 即，

首先从包含全部类别的简单数据子集开始训练 CNNs 模型. 这里，假设在简单数据子集中包含更多的准确标签的干净图像.

然后，在训练过程中逐渐连续的添加复杂度越来越高的数据，来提升模型的识别能力.

3.1. 课程设计(Curriculum Design)

Curriculum Learning - ICML2009

Yoshua Bengio

设计课程学习的目标是：能够以无监督的方式对训练图像由简单到复杂进行排序.

这里，采用基于密度聚类算法(density based clustering algorithm)，根据数据分布密度(data distribution density) 评估训练样本的复杂度.

具体地，将全部训练数据集划分为多个数据子集，并将数据子集由简单到复杂进行排名，其中简单数据子集中包含更多标签更可靠的干净图像；而复杂数据子集则包含更多大量的噪声标签.

Clustering by fast search and find of density peaks - 2014Science

根据基于密度聚类算法，对每一类别图像数据集进行处理.

[1] - 首先，对全部训练数据集训练 Inception_V2 模型，作为初始模型;

[2] - 然后，基于初始模型的 fc 层特征，将每一类别内的全部图像，投影到深度特征空间. 对于每张图像 $P_i\to f(P_i)$.

[3] - 接着，计算欧氏距离矩阵 $D\in {\mathcal{R}}^{n\times n}$:
$$D_{ij}=||f(P_i)-f(P_j)|{|}^2$$
其中，$n$ 为当前类别中图像数；$D_{ij}$ 表示图像 $P_i$ 和 P j P_j