[ 对比学习篇 ] 经典网络模型 —— Contrastive Learning

已于 2024-05-17 15:55:43 修改
阅读量2.1k 收藏 22
点赞数 5
分类专栏： 经典网络模型 文章标签： 深度学习 对比学习 Contrastive Learning
于 2023-02-20 16:27:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45084253/article/details/129102434
版权

🤵 Author ：Horizon John

✨ 编程技巧篇：各种操作小结

🏆 神经网络篇：经典网络模型

💻 算法篇：再忙也别忘了 LeetCode


[ 对比学习篇 ] 经典网络模型 —— Contrastive Learning



🚀 01. InstDisc


在这里插入图片描述

📜 Paper: Unsupervised Feature Learning via Non-Parametric Instance Discrimination [CVPR 2018]

🖥️ GitHub: lemniscate.pytorch


🎨 结构框图

在这里插入图片描述

Figure 1. The pipeline

🚩 详解

  • 每个图片看成一个类别；
  • 利用 memory bank 来存储图像经神经网络编码后的特征（128维）；
  • 正样本：该图像本身 + 经过数据增强后的图像；
  • 负样本：数据集中其他的图像（从 memory bank 中随机抽取4096个样本）；

超参数设定：

  • temperatureτ = 0.07；
  • NCE with m = 4, 096 to balance performance and computing cost；
  • trained for 200 epochs using SGD with momentum；
  • batch size = 256；
  • learning rate is initialized to 0.03, scaled down with coefficient 0.1 every 40 epochs after the first 120 epochs；

🚩 效果

在这里插入图片描述




🚀 02. InvaSpread


在这里插入图片描述

📜 Paper: Unsupervised Embedding Learning via Invariant and Spreading Instance Feature [CVPR 2019]

🖥️ GitHub: Unsupervised_Embedding_Learning


🎨 结构框图

在这里插入图片描述

Figure 1. The framework

🚩 详解

  • 没有使用额外的数据结构去存储大量的样本信息；
  • 正负样本都来自于同一个 minibatch ；
  • 使用同一个编码器进行端到端的学习；
  • 正样本：该图像本身 + 经过数据增强后的图像（2）；
  • 负样本：其他图像 + 经过数据增强后的图像（(batch size-1) × 2）；
  • 未能取得很好结果原因：batch size 太小导致负样本数量较小；

🚩 效果

在这里插入图片描述




🚀 03. CPC


在这里插入图片描述

📜 Paper: Representation Learning with Contrastive Predictive Coding [None 2018]

🖥️ GitHub: None


🎨 结构框图

在这里插入图片描述

Figure 1. Model overview

🚩 详解

  • 可以应用于音频、图片、强化学习；
  • 将输入当成序列，利用前面的输入通过 RNN 或 LSTM 等网络输出来进行预测；
  • 正样本：预测结果；
  • 负样本：随机样本通过 genc 得到的结果；

🚩 效果

在这里插入图片描述




🚀 04. CMC


在这里插入图片描述

📜 Paper: Contrastive Multiview Coding [ECCV 2020]

🖥️ GitHub: CMC


🎨 结构框图

在这里插入图片描述

Figure 1. Model overview

🚩 详解

  • 增大不同视角之间的互信息（视觉、听觉、触觉）；
  • 数据集：NYU RGBD，包含原始图像、深度信息、SwAV ace normal、分割图像；
  • 正样本：同一图像的不同视角；
  • 负样本：其他图像；
  • 缺点：不同视角下使用的编码器不一样，计算成本过高；

  • 作者后来又提出了 不同网络 得到的特征也应该尽可能相似；
  • 利用蒸馏网络（teacher net & student net）；



🚀 05. MoCov1


在这里插入图片描述

📜 Paper: Momentum Contrast for Unsupervised Visual Representation Learning [CVPR 2020]

🖥️ GitHub: moco


🎨 结构框图

在这里插入图片描述

Figure 1. Model overview

在这里插入图片描述

Figure 2. Conceptual comparison of three contrastive loss mechanisms

🚩 详解

  • InstDisc 的改进；
  • 提出了 队列（queue） 来解决 memory bank 中的大字典的问题；
  • 提出了 动量编码器 来解决 字典中特征不一致的问题；
  • 利用 动态字典 对 队列中的特征进行存储，每一次更新得到的 k 都会取代最开始的 k 值；
  • 动量编码器：yt = m·yt-1 + (1-m)·xt 使输出不完全依赖于当前的输入，还会收到上一个输出的影响，0 ≤ m ≤ 1 ，实现缓慢的更新每一次新的到的 k 值，使字典中的特征尽可能的保持一致；
  • 正负样本都位于 队列当中，确保正负样本都是由同一个编码器提取得到的；

🚩 效果

在这里插入图片描述




🚀 06. SimCLRv1


在这里插入图片描述

📜 Paper: A Simple Framework for Contrastive Learning of Visual Representations [ICML 2020]

🖥️ GitHub: simclr


🎨 结构框图

在这里插入图片描述

Figure 1. The framework

🚩 详解

  • 增大数据增强的数量；
  • 编码后的特征再经过一个 g(·) 函数（MLP层） 再求 loss 值，实现更好的训练 特征编码器；
  • 设置了更大的 batchsize；
  • 训练时间更久；

🚩 效果

在这里插入图片描述

在这里插入图片描述

数据增强策略及效果

在这里插入图片描述




🚀 07. Mocov2


在这里插入图片描述

📜 Paper: Improved Baselines with Momentum Contrastive Learning [None 2020]

🖥️ GitHub: None


🎨 结构框图

在这里插入图片描述

Figure 1. A batching perspective of two optimization mechanisms for contrastive learning

🚩 详解

  • 借鉴 SimCLRv1 的策略，添加了MLP层，使用了数据增强，训练时使用 cos learning rate schedule，训练更多epochs；

🚩 效果

在这里插入图片描述




🚀 08. SimCLRv2


在这里插入图片描述

📜 Paper: Big Self-Supervised Models are Strong Semi-Supervised Learners [NeurIPS 2020]

🖥️ GitHub: simclr


🎨 结构框图

在这里插入图片描述

Figure 1. The framework

🚩 详解

  • 使用更大的骨干网络模型；
  • 增加 MLP层，实验测试两层最佳；
  • 使用动量编码器，参考 MoCo；

🚩 效果

在这里插入图片描述




🚀 09. SWaV


在这里插入图片描述

📜 Paper: Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [NeurIPS 2020]

🖥️ GitHub: swav


🎨 结构框图

在这里插入图片描述

Figure 1. Model overview

🚩 详解

  • 生成多个视角，利用一个视角得到的特征去预测另一个视角的特征；
  • 与聚类工作相结合，利用 聚类中心（3000个） 进行预测；
  • cz1 预测 Q2， cz2 预测 Q1，c 为聚类中心，z1 和 z2 为提取的特征编码；
  • 采用聚类中心：可以降低采样的负样本数量从而减少计算成本，解决正样本也纳入到负样本中导致的样本不均衡的问题；
  • 提出 Muti-crop 的数据增强策略，多尺度的剪裁原始图像作为数据增强；

🚩 效果

在这里插入图片描述




🚀 10. BYOL


在这里插入图片描述

📜 Paper: Bootstrap Your Own Latent A New Approach to Self-Supervised Learning [NeurIPS 2020]

📜 Blog: Understanding Self-Supervised and Contrastive Learning with “Bootstrap Your Own Latent” (BYOL)

🖥️ GitHub: byol


🎨 结构框图

在这里插入图片描述

Figure 1. BYOL’s architecture

🚩 详解

  • fθ 和 fξ 的网络结构一样，模型参数更新不同，fξ 采用动量编码器更新；
  • gθ 和 gξ 是类似 SimCLR 的 MLP层，与 fθ 和 fξ 的更新策略一样；
  • 在模型最后输出部分 zθ 再经过一个 MLP层 得到 qθ(zθ)，利用 qθ(zθ) 预测 z’ξ 计算 loss ；
  • 模型测试阶段使用 yθ 作为输出；

🚩 效果

在这里插入图片描述




🚀 11. SimSiam


在这里插入图片描述

📜 Paper: Exploring Simple Siamese Representation Learning [CVPR 2021]

🖥️ GitHub: simsiam


🎨 结构框图

在这里插入图片描述

Figure 1. SimSiam architecture

在这里插入图片描述

Figure 2. Comparison on Siamese architectures

🚩 详解

  • 较 BYOL 没有使用动量编码器进行参数更新；
  • 总结性工作；

🚩 效果

在这里插入图片描述

Comparisons on ImageNet linear classification

在这里插入图片描述

Transfer Learning



🚀 12. Mocov3


在这里插入图片描述

📜 Paper: An Empirical Study of Training Self-Supervised Vision Transformers [ICCV 2021, Oral]

🖥️ GitHub: moco-v3


🎨 结构框图

Figure 1. Algorithm

🚩 详解

  • 结合 MoCov2 和 SimSiam ；
  • 骨干网络替换成了 ViT ；

🚩 效果

在这里插入图片描述




🚀 13. DINO


在这里插入图片描述

📜 Paper: Emerging Properties in Self-Supervised Vision Transformers [ICCV 2021]

🖥️ GitHub: dino


🎨 结构框图

在这里插入图片描述

Figure 1. Model overview

Figure 1. Algorithm

🚩 详解

  • 融合 ViT 模型；
  • 使用 student gθs 得到的结果 P1 去预测 teacher gθt 得到的结果 P2 ；

🚩 效果

在这里插入图片描述

Self-attention from a Vision Transformer with 8 × 8 patches trained with no supervision




参考：

对比学习论文综述【论文精读】


在这里插入图片描述




🚀 14. CLIP


在这里插入图片描述

📜 Paper: Learning Transferable Visual Models From Natural Language Supervision [None 2021]

🖥️ GitHub: CLIP


🎨 结构框图

在这里插入图片描述

Figure 1. Summary of the approach


Numpy-like pseudocode

🚩 详解

  • 模型训练采用了一个非常大的数据集：400 million 图片文字对（image，text）；
  • CLIP 预训练模型可以在不需要任何数据集训练的情况下和一个有监督学习的模型达成平手，甚至还会更高（ImageNet，ResNet）；
  • 正样本：对角线元素（IiTi (1 ≤ i ≤ N)）;
  • 负样本：除对角线元素外的其他元素；

🚩 效果

在这里插入图片描述

CLIP is much more efficient at zero-shot transfer than our image caption baseline


在这里插入图片描述

Linear probe performance of CLIP models in comparison with state-of-the-art computer vision models



Horizon John
关注
  • 5
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
8.12 对比学习——Relation Network
炫云云
06-20 525
文章目录1、前言2、方法2、1 问题定义2、2 ModelOne-ShotK-shot目标函数2.3. Zero-shot Learning2.4. 网络体系结构参考 什么是元学习呢？英文名叫Meta Learning其实也叫做Learning to Learn,即学会学习。如何让神经网络实现元学习呢？ 8.7 Meta learning元学习 全面理解 而今天这篇论文则是利用对比来实现元学习，作者人为人在识别图像时是通过比较图像与图像之间的特征来实现识别的，即 few-shot学习;当然也可以对比图像与描
不同网络结构的特征也能进行对比学习？蚂蚁&美团&南大&阿里提出跨架构自监督视频表示学习方法CACL，性能SOTA！...
我爱计算机视觉
06-22 291
关注公众号，发现CV技术之美本文分享 CVPR 2022 论文『Cross-Architecture Self-supervised Video RepresentationLearning』，提出问题：不同网络结构的特征也能进行对比学习？并由蚂蚁&美团&南大&阿里提出跨架构自监督视频表示学习方法CACL，在视频检索和动作识别任务上SOTA！详细...
网络结构对比
学无止境
10-18 370
背景 生产环境同时存在k8s集群的微服务与部署在虚拟机上的微服务，为了能够实现服务发现，需要做到集群内部使用和提供微服务的POD能够与K8S集群之外的主机网络互相可达。 K8S下服务发现的问题 在kubernetes集群里面，一般采用虚拟网络，不能直接与外部的网络进行直接通信。当在Pod里面注册微服务时，如果没有使用Node:Port暴露服务，Pod提供的服务不能被外部的访问。所以需要提供一种有...
对比学习基础
An的博客
07-25 651
对比学习 自监督学习 无监督学习 有监督学习
【机翻】Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification
zzbro
04-12 1972
Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification Abstract 在长尾图像分类中，判别式图像表示的学习起着非常重要的作用，因为它可以在不平衡的情况下实现分类器的学习。鉴于对比学习在表征学习中表现出的优越性，本文探索了一种有效的有监督的对比学习策略，并将其用于从不平衡数据中学习更好的图像表征，以提高分类精度具体来说提出了一种新的混合网络结构由有监督的对比损失学习图像表征和交叉熵损失学习分类器组成
对比学习中的4种经典训练模式
zenRRan的博客
06-27 2946
每天给你送来NLP技术干货！来自：圆圆的算法笔记对比学习是无监督表示学习中一种非常有效的方法，核心思路是训练query和key的Encoder，让这个Encoder对相匹配的query和key生成的编码距离接近，不匹配的编码距离远。想让对比学习效果好，一个核心点是扩大对比样本（负样本）的数量，即每次更新梯度时，query见到的不匹配key的数量。负样本数量越多，越接近对比...
对比学习(Contrastive Learning)
HsinglukLiu的博客
03-10 664
文章目录Understanding Contrastive Learning Understanding Contrastive Learning https://towardsdatascience.com/understanding-contrastive-learning-d5b19fd96607
深度对比学习综述
如果想成为中心，那么就到中心去吧。
01-10 1819
在深度学习中, 如何利用大量、易获取的无标注数据增强神经网络模型的特征表达能力, 是一个具有重要意义的研究问题, 而对比学习是解决该问题的有效方法之一, 近年来得到了学术界的广泛关注, 涌现出一大批新的研究方法和成果. 本文综合考察对比学习近年的发展和进步, 提出一种新的面向对比学习的归类方法, 该方法将现有对比学习方法归纳为5类, 包括: 1) 样本对构造;2) 图像增广;3) 网络架构;4) 损失函数;
对比学习系列（二）---MoCo 系列
陶将的博客
03-24 6859
MoCo 系列 文章目录MoCo 系列自监督MoCo V1前言动量对比Dictionary as a queueMomentum update代理任务Shuffling BN实验MoCo V2MoCo V3参考 自监督 监督学习在视觉领域应用广泛且成熟，但是也存在着一些挑战：监督学习需要大量带标签的数据，数据易得，但是给数据打标签工作枯燥且繁复，且成本高昂。我们希望能够省去人工标注的环节，使用无标签的数据集去预训练。 自监督学习是一种不需要人工输入数据标签的监督学习。不同于监督学习，自监督学习在没有
经典论文学习笔记——13篇对比学习（Contrastive Learning）
热门推荐
gailj
03-28 1万+
跟着李沐老师的对比学习课程看了一遍，又照着知乎 / CSDN等各位大佬的总结，重新理解了一遍，下面根据自己的学习来总结一下。着重讲一下MoCo，及附带其他12种对比学习的论文的改进之处。
（转）The Neural Network Zoo
a1424262219的博客
01-04 359
转自：http://www.asimovinstitute.org/neural-network-zoo/ THE NEURAL NETWORK ZOO POSTED ONSEPTEMBER 14, 2016BYFJODOR VAN VEEN With new neural networkarchitectures...
对比学习汇总
qq_43337355的博客
04-30 828
对比学习系列文章总结
Contrastive Learning（对比学习，MoCo，SimCLR，BYOL，SimSiam，SimCSE）
nakaizura
10-06 1万+
很多大佬认为，深度学习的本质就是做两件事情：Representation Learning（表示学习）和 Inductive Bias Learning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学习站台，自监督是未来！ 自监督学习有大类方法，一个是生成方法一个对比方法，如上图。生成方法往往会对像素级损失进行约束，而对比学习在表示学习上做的事情就是，其实模型不必要知道关于.
Keras官网的孪生网络代码详解及运行
qq_39060327的博客
09-16 2515
代码源自：https://github.com/keras-team/keras/blob/master/examples/mnist_siamese.py 该例子是在MNIST数据库上进行的 '''Trains a Siamese MLP on pairs of digits from the MNIST dataset. It follows Hadsell-et-al.'06 [1] by computing the Euclidean distance on the output of the .
张俊林：对比学习研究进展精要
夕小瑶科技说
04-27 1446
文 | 张俊林@知乎对比学习(Contrastive Learning)最近一年比较火，各路大神比如Hinton、Yann LeCun、Kaiming He及一流研究机构比如Faceboo...
深度学习主流网络架构的纵向比较
On_theway10的博客
03-19 892
图1. 各主流网络top-1分类精度比较 图2. 各主流网络top-1计算量比较 图3. 各主流网络inference_time比较 ...
Contrastive Multiview Coding（多视角的对比学习编码）
winycg的博客
04-21 7009
原文题目为：Contrastive Multiview Coding 代码链接：https://github.com/HobbitLong/CMC 引言 本文主要提出了Multiview 的contrastive learning。motivation是现实世界中看待同一个物体具有多个视角，每一个视角都是有噪声和不完整的，但是一些对于该物体很重要的元素，例如physics（物理）, geometr...
对比学习（Contrastive Learning）综述
04-20 5372
A.引入 https://zhuanlan.zhihu.com/p/346686467 A.引入 深度学习的成功往往依赖于海量数据的支持，其中对于数据的标记与否，可以分为监督学习和无监督学习。 1. 监督学习：技术相对成熟，但是对海量的数据进行标记需要花费大量的时间和资源。 2. 无监督学习：自主发现数据中潜在的结构，节省时间以及硬件资源。 2.1 主要思路：自主地从大量数据中学习同类数据的相同特性，并将其编码为高级表征，再根据不同任务进行微调即可。 2.2 分类： 2.2.1生成..
自监督对比学习(contrastive learning)窥探 & 搜索推荐场景应用视角
最新发布
09-06
自监督对比学习是一种无监督学习方法，旨在通过将数据样本与其在相同任务下的变体进行比较来进行特征学习。其核心思想是将一个样本与自身的不同变体进行对比，以推动特征的区分度增加。 在自监督对比学习中，通常使用一种转换函数对输入样本进行变换，生成多个变体。这些变换可以是图像旋转、裁剪、亮度调整等，也可以是对文本数据进行掩码、重排等操作。对于每个输入样本及其变体，模型将利用一个对比损失函数来度量它们之间的相似性。 通过自监督对比学习，模型会学习到一组鲁棒的特征表示。这些特征不仅能够区分同一样本与其变体，还能够区分不同样本之间的差异。通过不同样本之间的对比学习，模型可以学习到更加丰富的语义信息，提高数据的表征能力。 自监督对比学习在计算机视觉和自然语言处理等领域得到了广泛的应用。例如，在图像领域，可以利用自监督对比学习来学习图像中的局部特征、形状和纹理等信息。而在自然语言处理领域，可以通过对文本进行掩码、重排等方式来进行自监督对比学习，以学习词语、句子和文档的语义表示。 自监督对比学习的窥探给了我们一个更好的方式，通过无监督学习方法来解决许多现实世界中的问题。它为我们提供了一种从大规模数据中学习有用表示的方式，提高了学习算法的效率和泛化性能。通过进一步的研究和发展，自监督对比学习注定将在更多的领域中发挥重要的作用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Horizon John

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值