InstDisc

个体判别任务作为对比学习的开山之作具有里程碑的意义：

在该阶段的-InstDis-,-cpc-,-cmc-由于方法模型没有统一，目标函数也没有统一，代理任务也没有统一所以对比学习处于百花齐放的时代；

论文题目《Unsupervised Feature Learning via Non-parametric Instance Discrimination》

本论文也是没有自己起名字，但是由于是里程碑，后面论文的写作都需要提到该片论文所以后人对该论文起名InstDisc;

作者：Zhirong Wu ; Yuanjun Xiong; Stella X.Yu Dahua Lin 

作者的一图中讲了一只豹子可以被识别为Leopard，jaguar，cheetah，snow leopard(雪豹)的概率很高；而被识别为lifeboat; shopping cart;bookcase的比率就很低。作者提到：Supervised learning results that motivate our unsupervised approach.监督学习的方法促成了无监督学习的发展，并且我们的无监督学习的方法将多种类的监督学习变成了基于特征代表的独立个体。

 图2：使用卷积神经网络把所有的图片都编码成一个特征；希望这些特征在最后的特诊空间中都尽量的分散；对于个体判别任务来讲每个图片都是自己的类，故每个图片都应该和其他图片分开：使用对比学习训练卷积神经网络：需要正例样本和负例样本；其中正例样本：是原本的图片+原本图片经过数据增强：对于负例样本：其他图片；

图示：将256*256的图片经过卷积神经网络变成2048维的特征，再经过low dim变成128维的特征，做L2正则化防止过拟合，再使用Softmax激活函数进行特征分类可以得到128万的特征，将所有图片的特征存放在数据结构的字典结构中，并不断更新字典里面的特征，最终就达到了将所有图片进行对比分类的目的；

参数的设置对于后序的工作都具有指导意义：（几乎后面的工作都这样进行设置）

tempera-ture = 0.07

NCE with m  = 4096

200 epoch

SGD(随机梯度下降)优化算法

batch_size = 256

learning_rate = 0.03

总结：
InstDisc论文 作为一个对比学习的里程碑

使用了代理任务和NCELoss做对比学习从而获得了很不错的无监督表征学习结果，提出了使用别的数据结构存负样本从而对特征进行动态更新；