来源:https://www.zhihu.com/question/355779873/answer/893928396
编辑:深度学习与计算机视觉
声明:仅做学术分享,侵删
作者:林孟潇
https://www.zhihu.com/question/355779873/answer/893928396
一些不成熟的浅见:
主体提取 key/query feature 并选择合适的损失函数训练的模式算是 representation learning 中很常用的方法,在人脸等领域其实也在广泛使用,但是似乎很少看到在 key 和 query 上用不同 feature extractor 的,从论文看 momentum encoder 似乎至关重要。
选择 key/query pair 上用了林达华老师组的 《Unsupervised Feature Learning via Non-Parametric Instance Discrimination》 的想法,算是 instance discrimination 的进一步挖掘,或许这才是这篇论文的起点。
Shuffling BN 应该是个大坑,不懂多少实验砸进去才得到这个技巧。
性能提升上 Detection 同规模数据不是很明显,但是对 keypoints/densepose 提升显著,大概是因为 imagenet features 的分类能力对 detection 帮助很大,但是对其他任务不一定是最合适的。不过堆上工业级数据(Instagram)就可以超过Imagenet了。可能过几年回头看,这篇文章是真正开启 post-Imagenet 时代的工作。
何老师一直呼吁 representation 上有所突破,看了这篇才明白到底是什么,只能说何老师真的厉害。不过不止何老师,作者团队可以说是群星璀璨。
不过似乎这也预示着,视觉学术界连 unsupervised learning 都要打不过工业界了,不仅没数据没机器,这个论文的代码实现估计相当复杂,因为考虑多机多卡(64 GPUs)和各种tricks,一般学生估计没法轻松复现。
作者:Tong XIAO
https://www.zhihu.com/question/355779873/answer/894663297
下游的Person Search / ReID领域终于间接启发一下了上游的representation learning :D
一些小的想法:
momentum encoder确实很巧妙,让这个方法扩展到了大数据集
个人感觉loss里面的tau会是比较重要的超参,特别是网络初始化不好的话
reid里面结合softmax loss和triplet loss会有帮助,没准也能应用到representation learning
作者:打针
https://www.zhihu.com/question/355779873/answer/894580176
个人对表示学习不是很了解,不过最近一段时间在看一些半监督方面的工作,感觉很多地方还是很相似的
对于unlable的样本,如何将其加入网络巡练,这里是用了query-key的模式去train一个encoder
为了稳定性,选择用一个queue来记录,然后用momentum的机制去慢慢更新这个queue(感觉很像mean-teacher的moving average)
我是主做医学图像的,感觉这个工作用在医学影像分析的预训练上,潜力很大,毕竟这个领域的标注成本太高了,不同器官,甚至是同器官的不同任务之间的domain shift都非常严重,如果能把unlabel样本以及正常的无病灶样本都有效利用起来去pretrain,那是真的非常nb了
而且这个工作还可以和Vat等等半监督的工作结合起来,可能接下来一年很多东西的baseline都会有明显的提升了啊。
作者:tankche1
https://www.zhihu.com/question/355779873/answer/895112659
感觉就是【1】Unsupervised feature learning via non-parametric instance discrimination 这篇工作的拓展。【1】因为没有gpu(足够的)所以用memory bank 来存feature。这篇有gpu所以就不用存feature了直接每次都用key encoder。然后因为key encoder要比query encoder慢一点点同步(一样的话不好)所以加了个momentum。【1】每个batch(batchsize=n) 要forward n个image,这篇要forward(n+k)个。
作者:知乎用户
https://www.zhihu.com/question/355779873/answer/894687533
核心思想跟我们CVPR19的文章 [1] 非常类似,都是基于instance discrimination 来做unsupervised representation learning,同样类似的文章还有examplar CNN [2] 和 NCE [3], 但是kaiming大神用momentum的实在巧妙。简单介绍一下instance discrimination的发展史,下面是详细分析:
ExamplarCNN [2]: 早期用instance discrimination的思想来做无监督学习的,对每一个instance 学习一个classifier weight,效率比较低
NCE [3]: 引入 memory bank的去替代上面的classifier weights, 把前一个step 学习到的instance feature存储起来,然后在下一个step把这些存储的memory去学习,效率有所提升
Invariant and Spreading Instance Feature [1]: 我们在今年CVPR19 上提出了一种新的学习的方式,可以直接在instance feature level 上进行学习。我们直接用random data augmented instance feature做为“classifier weights”进行学习,并且采用了一个Siamese的network 去训练,这样两个网络的instance feature 可以实时的进行比较和学习。学习效率和准确性都有所提高,我们的文章也对上述两个方法的优缺点有详细的分析。相关代码也在github开源了。
Momentum Contrast: kaiming 大神用momentum的思想很好的弥补了我们方法的缺陷,从而使得模型在学习的过程中避免学习classifier weights 和memory bank,同时又保证可以handle大规模的数据!其中的shuffle batch normalization 应该也是进一步稳定这个training过程的一个很重要的trick。类似的做法也在deepCluster [4]论文里面每个epoch对classifier 重新做random initialization,两种做法应该有类似的效果,使得学习到的特征稳定性和泛化性都能有所提升
[1] Mang Ye, Xu Zhang, Pong C Yuen, and Shih-Fu Chang. Unsupervised embedding learning via invariant and spreading instance feature. In CVPR, 2019.
[2] Alexey Dosovitskiy, Philipp Fischer, Jost Tobias Springenberg, Martin Riedmiller, and Thomas Brox. Discriminative unsupervised feature learning with exemplar convolutional neural networks. In IEEE TPAMI, 2016.
[3] Zhirong Wu, Yuanjun Xiong, Stella Yu, and Dahua Lin. Unsupervised feature learning via non-parametric instance discrimination. In CVPR, 2018.
[4] Mathilde Caron, Piotr Bojanowski, Armand Joulin, and Matthijs Douze. Deep clustering for unsupervised learning of visual features. In ECCV, 2018.
不断更新资源
获取更多精彩
长按二维码扫码关注