点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
Pine 发自 凹非寺
转载自：量子位（QbitAI）
从来没有见过的新物体，它也能进行很好地分割。
这是DeepMind研究出的一种新的学习框架：目标发现和表示网络（Object discovery and representation networks，简称Odin）
论文：https://arxiv.org/abs/2203.08777
以往的自监督学习（SSL）方法能够很好地描述整个大的场景，但是很难区分出单个的物体。
现在，Odin方法做到了，并且是在没有任何监督的情况下做到的。
区分出图像中的单个物体可不是很容易的事，它是怎么做到的呢？
方法原理
能够很好地区分出图像中的各个物体，主要归功于Odin学习框架的“自我循环”。
Odin学习了两组协同工作的网络，分别是目标发现网络和目标表示网络。
目标发现网络以图像的一个裁剪部分作为输入，裁剪的部分应该包含图像的大部分区域，且这部分图像并没有在其他方面进行增强处理。
然后对输入图像生成的特征图进行聚类分析，根据不同的特征对图像中各个物体的进行分割。
目标表示网络的输入视图是目标发现网络中所生成的分割图像。
视图输入之后，对它们分别进行随机预处理，包括翻转、模糊和点级颜色转换等。
这样就能够获得两组掩模，它们除了剪裁之外的差异，其他信息都和底层图像内容相同。
而后两个掩模会通过对比损失，进而学习能够更好地表示图像中物体的特征。
具体来说，就是通过对比检测，训练一个网络来识别不同目标物体的特征，同时还有许多来自其他不相干物体的“负面”特征。
然后，最大化不同掩模中同一目标物体的相似性，最小化不同目标物体之间的相似性，进而更好地进行分割以区别不同目标物体。
与此同时，目标发现网络会定期根据目标表示网络的参数进行相应的更新。
最终的目的是确保这些对象级的特性在不同的视图中大致不变，换句话说就是将图像中的物体分隔开来。
那么Odin学习框架的效果究竟如何呢？
能够很好地区分未知物体
Odin方法在场景分割时，没有先验知识的情况下迁移学习的性能也很强大。
首先，使用Odin方法在ImageNet数据集上进行预训练，然后评估其在COCO数据集以及PASCAL和Cityscapes语义分割上的效果。
已经知道目标物体，即获得先验知识的方法在进行场景分割时，效果要明显好于其他未获得先验知识的方法。
而Odin方法即使未获得先验知识，其效果也要优于获得先验知识的DetCon和ReLICv2。
除此之外，Odin方法不仅可以应用在ResNet模型中，还可以应用到更复杂的模型中，如Swim Transformer。
在数据上，Odin框架学习的优势很明显，那在可视化的图像中，Odin的优势在何处体现了呢？
将使用Odin生成的分割图像与随机初始化的网络（第3列），ImageNet监督的网络（第4列）中获得的分割图像进行比较。
第3、4列都未能清晰地描绘出物体的边界，或者缺乏现实世界物体的一致性和局部性，而Odin生成的图像效果很明显要更好一些。
参考链接：
[1] https://twitter.com/DeepMind/status/1554467389290561541
[2] https://arxiv.org/abs/2203.08777
CVPR/ECCV 2022论文和代码下载
后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集
后台回复：ECCV2022，即可下载ECCV 2022论文和代码开源的论文合集后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer222，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！
▲扫码进群
▲点击上方卡片，关注CVer公众号整理不易，请点赞和在看
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
