自监督-论文笔记（一）Discriminative Unsupervised Feature Learning with Convolutional Neural Networks

论文：Discriminative Unsupervised Feature Learning with Convolutional Neural Networks（NIPS-2014）

链接：Discriminative Unsupervised Feature Learning with Convolutional Neural Networks (nips.cc)

摘要：

提出了一种只使用未标记数据训练卷积神经网络的方法。训练网络区分多组代理类，每一组代理类都是通过对随机采样的seed图像块应用各种变换（旋转、缩放、平移、颜色、对比度）形成。利用这种简单的特征学习算法获得了相当或优于当时最先进的无监督学习技术在几个流行数据集（STL-0，CIFAR-10、Caltech-01）上的分类结果

主要贡献：不依赖任何标记的训练数据。对数据进行随机采样的简单变换，达到差不多或更好的无监督分类效果。

方法：

1、构建代理类：从每个随机image patch（包含对象或对象的一部分）组成的普通代理类，对每个补丁（32x32）应用一组随机变换来扩充数据集。

2、构建了一个小网络和一个大网络，小网络在8000个代理类（每个类包含150个样本）上进行训练，大网络在16000个类（每个类包含100个样本）上进行训练。

内容

1、与无监督学习比较

无监督：至少一个特征与相同类相同，至少一个特征具有足够的差异性与其他类不同。对输入分布进行建模。

自监督：学习在输入样本之间进行判别的表示。

2、评估了增强参数对分类性能的影响

3、网络不变性

结果： 

从较大的网络中提取的特征匹配或优于所有数据集上的最佳先验结果。在STL-10上，实现了72.8%的精度，比之前报告的所有结果都有很大改善。