论文笔记：SUPERVISED CONTRASTIVE REGRESSION

最新推荐文章于 2025-04-30 20:09:44 发布
最新推荐文章于 2025-04-30 20:09:44 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/132114310
版权

2022arxiv的论文，没有中，但一作是P大图班本MIT博，可信度应该还是可以的

0 摘要

  • 深度回归模型通常以端到端的方式进行学习，不明确尝试学习具有回归意识的表示。
    • 它们的表示往往是分散的，未能捕捉回归任务的连续性质。
  • 在本文中，我们提出了“监督对比回归”（Supervised Contrastive Regression，SupCR）的框架
    • 该框架通过将样本与目标距离进行对比来学习具有回归意识的表示。
    • SupCR与现有的回归模型是正交的，并且可以与这些模型结合使用以提高性能。
  • 在涵盖计算机视觉、人机交互和医疗保健领域的五个真实世界回归数据集上进行的大量实验表明，使用SupCR可以达到最先进的性能，并且始终在所有数据集、任务和输入模式上改进先前的回归基线。
    • SupCR还提高了对数据损坏的鲁棒性
    • 对减少的训练数据具有弹性
    • 改善了迁移学习的性能
    • 并且对未见过的目标有很好的泛化能力。

1 介绍

1.1 动机

  • 之前的回归问题
    • 都集中在以端到端的方式对最终预测进行约束
    • 并未明确考虑模型学到的表示
  • ——>学习的表示往往是分散的，未能捕捉回归任务中连续的关系
  • 图1(a)展示了在从网络摄像头户外图像预测天气温度的任务中，由L1损失学习的表示
    • L1模型学习的表示并没有呈现连续的真实温度值；相反，它按不同的摄像头以一种碎片化的方式进行分组。
      • 这种无序和碎片化的表示对于回归任务是次优的，甚至可能会妨碍性能，因为其中包含了干扰信息
  • 之前的表示学习都集中在分类问题上
    • 尤其是监督学习和对比学习
    • 如图1(b)所示，这些方法在上述视觉温度预测任务中学习的表示对于回归问题来说是次优的
      • 因为它忽略了回归任务中样本之间的连续顺序。

1.2 本文思路

  • 引入了“监督对比回归”（Supervised Contrastive Regression，SupCR）这一新的深度回归学习框架
    • 首先学习一个表示，确保嵌入空间中的距离与目标值的顺序相对应
      • 为了学习这样一个具有回归意识的表示，我们根据样本的标签/目标值距离将样本进行对比
    • 然后使用这个表示来预测目标值
  • 方法明确地利用样本之间的有序关系来优化下游回归任务的表示（如1(c)所示）
  • 此外，SupCR与现有的回归方法正交
    • 可以使用任何类型的回归方法将学习到的表示映射到预测值上。

2 方法

2.0 方法定义

  • 学习一个神经网络，由两部分组成

     

    • 特征encoder
    • 预测器p(\cdot):R^{d_e}\rightarrow R^{d_t} 从x \in X中预测y \in R^{d_t}
  •  对于给定的输入 batch，类似于对比学习,首先对数据进行两次数据增强，得到batch的两个view
    • 这两个view被输入到编码器f(·)中，为每个增强的输入数据获取一个de维特征嵌入
    • 监督对比回归损失L_{SupCR}是在这些特征嵌入上计算的
      • 为了将学习到的表示用于回归，冻结编码器f(·)，然后在其之上训练预测器，使用回归损失（例如，L1损失）

2.1 监督对比回归损失

  • 大前提：希望损失函数能够确保嵌入空间中的距离与标签空间中的距离相对应
  • 给定N个数据组成的batch ，其中有input和label \{(x_n,y_n)\}_{n \in [N]}
    • 对该批数据应用数据增强，得到两个视图的batch
      • \tilde{x}_{2n}=t(x_n),\tilde{x}_{2n-1}=t'(x_n)
      • t和t'是两种数据增强方式
      • ——>得到两个视图下的batch\{(\tilde{x}_l,\tilde{y}_l)\}_{l \in [2N]}
        • \tilde{y}_{2n}=\tilde{y}_{2n-1}=y_n
    • 数据增强后的batch会被喂到encoder中，以获得相应的embedding
      • v_l=f(\tilde{x}_l)\in R^{d_e}, \forall n \in [2N]
  • 监督对比回归损失为

比如我们计算20这个样本的对比学习损失函数时，将30作为anchor的时候，会有两个负样本；将0作为anchor的时候，会有一个负样本

 2.2 理论证明

略

3 实验

3.1 五个实验

AgeDB
  • 从人脸图像预测年龄。
  • 包含了16,488张名人的图像和相应的年龄标签。
  • 年龄范围在0到101岁之间。
  • 数据集被分为12,208张训练图像、2140张验证图像和2140张测试图像。
TUAB
  • 从EEG静息态信号估计脑龄。
  • 包括1,385个21通道的EEG信号，采样频率为200Hz，来自年龄范围从0到95岁的个体。
  • 数据集被分为1,246个受试者的训练集和139个受试者的测试集。
MPIIFaceGaze
  • 从人脸图像估计注视方向。
  • 包含了213,659张从15名参与者收集的人脸图像
  • 将其划分为一个33,000张训练图像、6,000张验证图像和6,000张测试图像的数据集，参与者之间没有重叠。
  • 注视方向被描述为一个二维向量，第一维是俯仰角，第二维是偏航角。俯仰角的范围是-40°到10°，偏航角的范围是-45°到45°。
SkyFinder
  • 从户外网络摄像头图像预测温度。
  • 包含了由44台摄像头在每天上午11点左右拍摄的35,417张图像，天气和照明条件涵盖了广泛的范围。
  • 温度范围是-20°C到-49°C。
  • 数据集被分为28,373张训练图像、3,522张验证图像和3,522张测试图像。
IMDB-WIKI
  • 从人脸图像预测年龄
  • 包含了523,051张名人图像和相应的年龄标签。
  • 年龄范围在0到186岁之间（有些图像标签错误）。
  • 使用该数据集来测试方法对减少训练数据的弹性，迁移学习的性能以及对未见目标的泛化能力。

3.2 实验效果

 

 3.3 数据损坏的鲁棒性

使用ImageNet-C基准测试中的损坏生成过程来对AgeDB测试集进行19种不同强度级别的多样化损坏。

 3.4 训练数据的影响

 

Group-aware Contrastive Regression for Action Quality Assessment
qq_41832686的博客
09-15 1119
arXiv:2108.07797v1 [cs.CV] 17 Aug 2021 思路 根据样本和参考视频的相关性来提供重要的线索（因为同一个数据集的视频变化很小），以至于更准确的进行动作质量评估。使用一个Contrastive Regression (CoRe) 来成对的对比。 尽管对比回归框架可以预测相对分数∆s，∆s通常取值范围很广(例如，对于潜水，∆s∈[−30,30])。因此，直接预测∆s仍然是一个很大的困难，因此提出一个group-aware regression tree将传统的得分回归转换
自监督论文阅读笔记SELF-SUPERVISED SPECTRAL MATCHING NETWORK FOR HYPERSPECTRAL TARGET DETECTION
YoooooL_的博客
07-29 958
最近，受深度学习在计算机视觉任务中取得巨大成功的启发，深度神经网络已被用于学习更多的判别表示[11]。通过计算与给定目标的相似度，我们可以得到特定目标在高光谱图像中的位置。在三个真实高光谱数据集上的实验结果表明，与现有检测器相比，本文所提出的框架取得了更好的结果。在注释数据有限的情况下，特征提取器网络可以以自监督的方式学习更具辨别力的特征表示。每个类的训练数据样本，由连音数据{x，x+，x1，···xN−1}组成，x+是x的正样本，，排除1%的样本作为目标集Ht，其余样本为纯化背景集Hb。...
Supervised Contrastive Replay 论文详解 通过NCM分类器和图片回放实现增量学习
祥瑞的技术博客
04-30 4270
论文地址：[2103.13885] Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning (arxiv.org) Supervised contrastive replay: revisiting the nearest class mean classifier in online class-incrementa
Contrastive Regression for Domain Adaptation on Gaze Estimation CVPR 2022 对比学习+目标域有样本无标注（伪标签）
weixin_43841776的博客
02-20 634
将分类对比学习推广到了回归任务。
NIPS20 - 将对比学习用于监督学习任务《Supervised Contrastive Learning》
要相信光
10-19 9038
文章目录原文地址论文阅读方法初识相知回顾代码 原文地址 原文 论文阅读方法 三遍论文法 初识 对比学习这两年在自监督学习、无监督学习任务中非常火，取得了非常优秀的性能。这个工作就是想办法将其用在监督学习任务中，在训练过程中更有效地利用标签信息。 文章研究的点主要在于对比学习在分类任务中的应用 作者首先分析了分类任务中最常采用的交叉熵损失函数的缺点：① 对噪声数数据缺乏鲁棒性; ② 分类边界的问题(the possibility of poor margins)。这样会导致模型泛化能力下降，因此也有不少工
Supervised Contrastive 损失函数详解
goodenough5的博客
01-22 2121
介绍了一下有监督对比损失函数。
【论文阅读】A Survey on Contrastive Self-supervised Learning
huitailangyz的博客
01-31 2370
论文地址：https://arxiv.org/abs/2011.00362 介绍 有监督的方法的问题： 1、需要昂贵的标记数据 2、泛化性能差 3、遭受对抗攻击 大量的方法开始寻找不需要大量昂贵的标记的方法，通过自监督来学习特征表示 随着2014年GAN被提出，有许多基于GAN的自监督的生成模型，但是GAN也存在问题： 1、模型参数比较振荡，很难收敛 2、判别器通常比生成器训练得更好，使得生成器很难生成逼真的样本 对比学习是一种判别方法，旨在将相似样本靠近，将不同的样本之间距..
Collaborative Learning for Weakly Supervised Object Detection 算法笔记
AI之路
07-21 6291
论文：Collaborative Learning forWeakly Supervised Object Detection 论文链接：https://arxiv.org/abs/1802.03531 弱监督目标检测（weakly supervised object detection）是指不需要框标注，仅通过图像级标签就能做目标检测。这方面的研究出发点主要是框标注的成本太高，而图像级标签相...
[FSCE]FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding(CVPR. 2021)
Ah丶Weii
08-25 2396
1. Motivation 本文是基于fine-tuning based方法 In this work, we observe and address the essential weakness of the fine- tuning based approach – constantly mislabeling novel in- stances as confusable categories, and improve the few-shot detection performance to t.
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6226
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
Micro-expression recognition with supervised contrastive learning基于监督对比学习的微表情识别
weixin_55768678的博客
10-14 2384
面部微表情是面部肌肉的不自主运动，暴露了个人的潜在情绪。由于面部肌肉变化的微妙性和多样性，提取有效的特征来识别微表情是一个挑战。本文提出了一个有监督的对比学习（MER-Supcon）的微表情识别框架，其主要目的是提取微表情的关键特征，并克服不相关的面部运动引起的噪音。首先，提出了一种新的双终端微表情采集策略，并应用于获得光流图，旨在扩大数据集并减少微表情斑点的不利影响。然后，引入监督下的对比学习来学习微表情的关键表征进行分类。
监督对比学习代码实现与分析（Supervised Contrastive Learning in NLP）
c___c18的博客
11-26 2270
SimCSE: Simple Contrastive Learning of Sentence Embeddings Supervised contrastive learning Learning Implicit Sentiment in Aspect-based Sentiment Analysis with Supervised Contrastive Pre-Training Decoupled Contrastive Learning for Long-Tailed Recognition
【论文笔记_对比学习_2021】Supervised Contrastive Learning
qq_45128278的博客
07-25 1948
近年来，应用于自我监督表示学习的对比学习再次兴起，导致了深度图像模型的无监督训练中的艺术表现。现代批量对比方法包含或明显优于传统的对比损失，如三元组、最大余量和N对损失。在这项工作中，我们将自我监督的批量对比方法扩展到完全监督的设置，使我们能够有效地利用标签信息。属于同一类的点的聚类在嵌入空间中被拉在一起，同时推开来自不同类的样本的聚类。我们分析了监督对比(SupCon)损失的两种可能版本，确定了损失的最佳表现形式。交叉熵损失是深度分类模型的监督学习中最广泛使用的损失函数。我们的主要贡献总结如下。.....
AQA&HPE 论文整理
qq_44502497的博客
01-09 911
AQA&HPE论文整理
有监督对比学习在分类任务中的应用 Supervised Contrastive Learning
持续战斗状态的博客
05-05 9348
1.对比学习一般泛式 其中x+是和x相似的正样本，x-是和x不相似的负样本 score是一个度量函数，来衡量样本间的相似度。 如果用向量内积来计算两个样本的相似度，则对比学习的损失函数可以表示成： 其中对应样本x有1个正样本和N-1个负样本。可以发现，这个形式类似于交叉熵损失函数，学习的目标就是让x的特征和正样本的特征更相似，同时和N-1个负样本的特征更不相似。 2.对比学习分类 「有监督对比学习」：通过将监督样本中的相同label的样本作为正样本，不同label的样本作为负样本，来进行对比学习； 正样本：
【笔记】 SCL （Supervised Contrastive Learning）论文分析：“监督对比学习“，相比”自监督对比学习“，从“同源” vs “非同源”，扩展为“同类” vs “非同类”
nyist_yangguang的博客
07-20 4419
监督对比学习“，相比”自监督对比学习“，将对比策略，从“同源”vs“非同源”，扩展为“同类”vs"非同类“。训练自己的模型时，也可以试试这个supervisedcontrastiveloss。引用2SupervisedContrastiveLearning论文实验非常充分，公式的推导也很扎实。具体可以看这里，是一篇很优秀严谨的论文。给人耳目一新的感觉，但论文中提到的诸多数据增强的方法，我的了解都很有限，后续会再看一些相关的论文。交叉熵（Cross-Entropy）......
CVPR 2022 | 清华大学提出首个细粒度动作质量评估数据集—FineDiving
Paper weekly
04-15 2640
©作者 | 徐婧林单位 | 清华大学博士后研究方向 | 视频理解在这里和大家分享一下我们被录用为 CVPR 2022 Oral 的工作。论文标题：FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment作者单位：清华大学收录会议：CVPR 2022Oral论文链接：h...
论文阅读：2024 ACM SIGSAC Membership inference attacks against in-context learning
CSPhD-winston的博客
04-30 1117
在这个示例中，语言模型要完成的任务是根据问题的答案类型进行分类，比如答案类型可能是数字（Number）、地点（Location）、人物（Person）、描述（Description）、实体（Entity）或缩写（Abbreviation）。：帮助理解ICL的工作方式，它通过在输入中添加提示（包含指令和演示示例），让语言模型在不更新自身参数的情况下，通过类比示例来完成特定任务。这篇论文主要研究了大语言模型中上下文学习（ICL）的隐私安全问题，提出针对ICL的成员推理攻击方法，并探索了相应的防御策略。
论文笔记（八十二）Transformers without Normalization
最新发布
xzs1210652636的博客
04-30 1208
归一化层在现代神经网络中无处不在，并且长期以来被认为是必不可少的。本工作表明，通过一种非常简单的技术，不使用归一化的Transformer也能达到相同或更好的性能。我们提出了动态Tanh (Dynamic Tanh——DyT)，一种逐元素操作$\text{DyT}(x)=\tanh(\alpha x)$，可作为Transformer中归一化层的直接替代。$\text{DyT}$的灵感来源于观察到Transformer中的层归一化通常会产生类似tanh的“S型”输入输出映射。通过引入$\text{DyT}$，
supervised contrastive loss function 中的temperature parameter 的选取对结果的影响
03-21
### 温度参数对监督对比损失函数的影响 在监督对比学习框架下，温度参数 \( \tau \) 是控制特征空间分布的关键超参数之一。它决定了正样本对之间的相似性和负样本对之间差异性的相对重要程度[^1]。 当温度参数较低时 (\( \tau \to 0 \))，模型倾向于更严格地区分正负样本对，这可能导致优化过程更加关注局部细节而忽略全局结构信息[^3]。这种情况下，虽然可能提高分类边界的清晰度，但也容易引发过拟合现象，尤其是在训练数据有限的情况下[^2]。 相反，在较高温度设置下 (\( \tau \to 1 \) 或更大)，模型会放松对于正负样本区分的要求，从而允许更多噪声存在并促进泛化能力提升。然而，如果温度过高，则可能会削弱有效信号的作用，使得最终学到的表征质量下降[^4]。 因此，在实际应用过程中需要通过实验来寻找最佳平衡点以获得最优性能表现 。通常可以通过网格搜索或者随机搜索方法来进行调优操作 ，同时结合验证集上的指标评估结果做出决策 。 ```python import torch from torch.nn import functional as F def supervised_contrastive_loss(features, labels, temperature=0.1): """ Compute Supervised Contrastive Loss. Args: features: Tensor of shape (batch_size, feature_dim). labels: Tensor of shape (batch_size,) containing class indices. temperature: Float representing the temperature parameter. Returns: Scalar tensor containing the loss value. """ batch_size = features.shape[0] mask = torch.eq(labels.unsqueeze(1), labels.unsqueeze(0)).float() logits = torch.div(torch.matmul(features, features.T), temperature) exp_logits = torch.exp(logits - torch.max(logits, dim=1, keepdim=True)[0]) log_prob = logits - torch.log(exp_logits.sum(dim=1, keepdim=True)) mean_log_prob_pos = (mask * log_prob).sum(dim=1) / mask.sum(dim=1) loss = -(temperature / batch_size) * mean_log_prob_pos.sum() return loss ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值