论文阅读“Partially view-aligned representation learning with noise-robust contrastive loss“（CVPR2021）

最新推荐文章于 2023-01-31 14:25:09 发布
最新推荐文章于 2023-01-31 14:25:09 发布
阅读量805 收藏 2
点赞数
分类专栏： 论文阅读 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43497436/article/details/125502958
版权

论文标题

Partially view-aligned representation learning with noise-robust contrastive loss

论文作者、链接

作者：Yang, Mouxing and Li, Yunfan and Huang, Zhenyu and Liu, Zitao and Hu, Peng and Peng, Xi

链接：CVPR 2021 Open Access Repository

代码：https://github.com/XLearning-SCU/2021-CVPR-MvCLN

Introduction逻辑（论文动机&现有工作存在的问题）

多视图表征学习Multi-view Representation Learning (MvRL)，目的是从多视图数据中学习到恒定的特征表示——现有的方法往往有两个依赖：数据视图的一致性和完备性，少了其中一个条件，多视图表征学习就失效了——但是现实情况下这两个条件往往在数据收集和传输时导致不成立——于是，问题转化为了部分数据丢失问题Partially Data-missing Problem (PDP)和部分视图对齐问题Partially View-aligned Problem (PVP）

本文笔尝试在没有标签的情况下解决PVP问题——理想情况下，数据是对齐的——简单解法是直接使用匈牙利算法 （Hungarian algorithm）对视图进行预处理，构建两个视图的相关视图——匈牙利算法存在的缺点：（1）不能应用在多视图的行空间（2）没有利用到数据之间的相关性——部分对齐视图聚类（Partially View-aligned Clustering ，PVC）提出了一种可微神经模块的匈牙利算法，从而可以实现数据对齐和表示学习在一个阶段的方式——但是这两种算法目标都是实例级的对齐，这可能导致多视图聚类和分类过拟合——层级对齐比实例级对齐的需求更高——对于交叉视图的实例，对齐正确的概率有1/N或者1/K（实例级和类别级），即，类别级对齐的概率更高（K<<N）

基于上面的观察，本文解决PVP问题通过：类别级的对齐而不是实例级的对齐，如图1（c）所示。提出了Multi-view Contrastive Learning with Noise-robust loss (MvCLN)算法，基本思想是将视图对齐问题重新解释为一种识别任务，即，以双视图数据为例，对于一个视图中的每个样本，MvCLN旨在从另一个视图中识别属于同一类别的对应对象——样本对的构建：将对齐的数据视为正对，使用随机抽样构造负对(NP)——为了减轻甚至消除假阴性的样本对，设计了抗噪音的对比损失（noise-robust contrastive loss）

论文核心创新点

（1）提出了聚类似的一对多映射任务，提出了通过层级对齐而不是实例对齐来解决PVP问题。

（2）将对齐问题重新解释为视图辨别问题，通过一个对比学习模型来解决这个问题。

（3）通过建立视图之间的相关性来设计对比损失，提出了抗噪音的对比损失。传统的带噪声标签被定义为对分类等监督任务的不正确标注。相反，这项工作提出的观点对应可能是错误的，这与传统的定义有显著的不同。

相关工作

多视图特征学习

对比学习

含噪音的标签学习

论文方法

Problem Formulation问题公式化

取\left\{\mathbf{X}^{i}\right\}_{i=1}^{v}=\left\{\mathbf{x}_{1}^{i}, \mathbf{x}_{2}^{i}, \ldots, \mathbf{x}_{N}^{i}\right\}_{i=1}^{v}为一个部分视图对齐的数据集，即\left\{\mathbf{X}^{i}\right\}_{i=1}^{v}=\left\{\mathbf{A}^{i}, \mathbf{U}^{i}\right\}_{i=1}^{v}，其中v代表视图的数量，对齐和非对齐的视图分别记作\left\{\mathbf{A}^{i}\right\}_{i=1}^{v}=\left\{\mathbf{a}_{1}^{i}, \mathbf{a}_{2}^{i}, \ldots, \mathbf{a}_{N_{1}}^{i}\right\}_{i=1}^{v}和\left\{\mathbf{U}^{i}\right\}_{i=1}^{v}=\left\{\mathbf{u}_{1}^{i}, \mathbf{u}_{2}^{i}, \ldots, \mathbf{u}_{N_{2}}^{i}\right\}_{i=1}^{v}。目标是利用对齐视图\left\{\mathbf{A}^{i}\right\}_{i=1}^{v}来对齐非对齐视图\left\{\mathbf{U}^{i}\right\}_{i=1}^{v}，并同时对整个数据集学习一个共同的特征表达。

取v=2举例，当\bold{x}^1_k和\bold{x}^2_k属于同一个类时，该数据集是对齐的，即：

 其中，C(x)代表x所属的类别。于是，类别级的对齐问题，就变成了解决一个识别问题，即使得\bold{x}^1_k和\bold{x}^2_k满足上述公式。

 为了完成识别任务，类别级的对比学习的目标变成增大正样本对的相似性，同时减小负样本对的相似性。但是，对比学习不能直接用于识别任务。一方面，已经包含了正样本对\left\{\mathbf{A}^{i}\right\}_{i=1}^{v}，于是剩下的问题是如何构造构造负样本对。另一方面，在没有标签数据的帮助下，不可避免的会得到一些含有噪音的负样本对。因此，本文提出使用随机采样的方法生成负样本对。具体来说，从\left\{\mathbf{A}^{i}\right\}_{i=1}^{v}随机选择两个样本\text{a}^1_i和\text{a}^2_j，当i \neq j的时候，作为负样本对。直觉上来说，构建样本对的时候有1/K的概率是含噪音的样本对，当类别数是不均匀的时候。因此，目标是使对比学习对噪声标签(即假阴性)具有鲁棒性。

 Noise-robust Contrastive Loss 噪音鲁棒对比损失

为了减轻假阴性的影响，提出如下损失函数：

 其中N是数据对的数量，P=0/1代表正/负样本对。

对于正样本交叉视图\text{a}^1_i和\text{a}^2_j，目标是最小化它们俩之间的距离，即

 f_1,f_2代表两个参数化的神经网络，将两个视图映射到潜在空间

为避免琐碎解，又加入了以下这一项：

 其中，m是一个阈值，使得负样本直之间的距离比较大，\left(\mathbf{a}_{i}^{1}, \mathbf{a}_{j}^{2}\right)是负样本对。由于上述损失没有明确包含对噪声标签的鲁棒性，它会混淆真阴性和假阴性，从而导致性能下降。为了增加对假阴性的鲁棒性，提出以下损失：

 其中m是一个阈值，只在初始化阶段计算，通过以下公式：

 其中N_p,N_n分别是正样本和负样本的数量。公式6可以使得模型避免对假阴性样本对形成过拟合。

Analysis on the Proposed Loss对提出的损失函数的分析

计算\mathcal{L}^{neg}的梯度d，即，负样本的距离变成0，只考虑d\leq m，即：

 然后d=m/3或者是d=m。性能分为两个区域，即，0<d<m/3和m/3<d<m。对关于负样本的上述损失，进行可视化如下：

 从图中可以观察到，比起简单版的损失，对噪音有鲁棒性的损失，不会单调地增加负对的距离，从而具有以下两个特点:

（1）反向优化（0<d<m/3）：对于那些坐落在孔区域的负样本对，本文提出的损失函数的梯度会反向，因此负样本对的距离会减少。

（2）慢优化（m/3<d<m）：对于落在m/3<d<m区域的样本，优化速度会比简单损失的速度要慢，因为梯度总是和负值相关的，并且公式中前者的梯度总是比后者的大，即：

 如果假阴性被约束为0<d<m/3，第一个特征可以用来消除假阴性的影响。交替地，第二项可以通过将假阴性约束到m/3<d<m来减轻假阴性的影响。于是，问题就变成了如何将假阴性和真阴性样本对区分开来。

Bengio et al通过经验发现，神经网络容易首先适应简单的模式，这为我们提供了动机。具体来说，本文提出了一个TNP，可以被视为一种简单的模式，然后FNP是一种比较复杂的模式。因此，我们有理由推测，具有简单对比损失的神经网络比FNP更快地适应TNP，如下图

 更具体地说，从图中可以看出，由于TNP拟合速度更快，在训练早期TNP和FNP vanilla之间存在差距。

基于上述观察，我们提出采用两阶段优化策略来区分FNP和TNP基于上述观察。即，第一阶段应用简单对比损失去优化模型，到一个所有负样本对的平均距离比m要大。结果是，由于TNP的拟合速度快，大多数TNP和FNP会落入d>m和d<m的区域。随后，模型就到了第二阶段，对噪音鲁棒的对比损失进行优化，这个阶段中，大多数FNP会落在m/3<d<m或者是0<d<m/3，FNP的距离不会上升或者下降的太快，因此可以减轻甚至消除含噪音标签的影响。同时，它只对真正的负对产生微不足道的影响，因为到目前为止它们的大部分距离都大于m。

消融实验设计

提出的对噪音鲁棒的对比损失

正负样本对的比例

对齐比列的影响

两个阶段的交替时间

一句话总结

论文好句摘抄（个人向）

（1）However, both the vanilla Hungarian algorithm and PVC aim to achieve instance-level alignment which might be over-suffificient to multi-view clustering and classifification.

（2）Without loss of generality, we take v = 2 as a showcase

不吃香菜的zbw
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
面向跨模态匹配的噪声关联学习
Paper weekly
09-03 722
©PaperWeekly 原创 ·作者 | 黄振宇单位 | 四川大学博士生研究方向 |多模态学习简介跨模态匹配旨在建立两种不同模态之间的对应关系，是跨模态检索和视觉与语言理解等多种任务的基础。尽管近年来大量的跨模态匹配方法被提出并取得了显著进展，但几乎所有这些方法都隐含着一个假设：多模态训练数据是正确对齐或关联的。然而，在实践中满足这样的假设开销巨大，甚至不可能满足。基于这一观察，我们在国际上...
无监督对比学习论文Momentum Contrast for Unsupervised Visual Representation Learning阅读
道阻且长
05-01 1237
何凯明无监督论文Momentum Contrast for Unsupervised Visual Representation Learning阅读
CCF A类会议或期刊----近两年聚类相关论文
Thincor的博客
03-21 5604
会议/期刊 论文 sigmod2021 Fast Density-Peaks Clustering: Multicore-based Parallelization Approach. sigmod2021 SharPer: Sharding Permissioned Blockchains Over Network Clusters. sigmod2021 Dynamic Structural Clustering on Graphs. sigmod2021 On Saving....
多视图聚类中的alignment
atease0001的博客
01-31 697
该论文的主要目的是利用多核方法学习到最优的聚类结果（两个kernel,Ku为多核的线性组合，标签表示矩阵的乘积为另一个kernel，然后最大化两个kernel的相似性）。文献【1-4】的对齐方式假设\sumH^vW^v中包含了多视图数据中的所有信息。文献[1]中提出的三种融合方式中的sum方式。从本质上来讲，文献[5]这种alignment方式实际上只利用了多视图数据的一致性信息(认为一致性信息是类别一致)。本质上来讲，就是将alignment加到目标函数中，来学习最终的表示。具体的对齐策略见该文献。
论文解读《基于伪标签自训练的局部对比损失半监督医学图像分割》
weixin_37591159的博客
02-18 6498
论文解读《Local contrastive loss with pseudo-label based self-training for semi-supervised medical image segmentation》 发表期刊：NeurIPS2021（神经信息处理系统大会（NeurIPS），前称NIPS，是一个机器学习和计算神经科学相关的学术会议，每年12月举行。） 代码： 代码链接 论文：论文地址 分区： CCF-A 摘要： 基于监督深度学习的方法可以为医学图像分割提供精确的结果。然而，它们需要
Authentication Codes from epsilon-ASU Hash Functions with Partially Secret Keys
02-09
Authentication Codes from epsilon-ASU Hash Functions with Partially Secret Keys
Stabilization for discrete-time LPV systems with Markovian switching under partially known transition probabilities
02-08
Stabilization for discrete-time LPV systems with Markovian switching under partially known transition probabilities
Diverse reduct subspaces based co-training for partially labeled data
02-21
Rough set theory is an effective supervised learning model for labeled data. However, it is often the case that practical problems involve both labeled and unlabeled data, which is outside the realm ...
Laser diode partially end-pumped electro-optically
02-22
A laser diode partially end-pumped, electro-optically
Gindele 等。 - 2015 - Learning Driver Behavior Models from Traffic
08-04
在《Gindele等人 - 2015 - 从交通观察中学习驾驶者行为模型》这篇论文中，作者探讨了如何通过分析交通观测数据来建立驾驶者行为模型，以用于决策制定和规划，这对于高级驾驶辅助系统和自动驾驶至关重要。论文主要...
文献阅读：On Learning Contrastive Representations for Learning with Noisy Labels
窝要芝士的博客
11-19 904
文献阅读：On Learning Contrastive Representations for Learning with Noisy Labels
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
多视角聚类（四）Partial Multi-View Clustering via Consistent GAN
weixin_48898700的博客
11-10 1158
一.解决问题 现有的不完备多视角聚类大多是基于核或者非负矩阵分解。但是这些方法有两点缺陷 1）它们不能应用于大规模数据； 2）他们没有考虑学习一个适合聚类的潜在空间的同时也很好地推断出缺失的视图 二.主要思路 一.划分 首先在两个视角上，作者将数据分为了完整（paired)和单视角（Unpaired)。 二.GAN网络结构 1.编码器E1/E2 E1由L个全连接层组成，用来对视角1的输入数据X（1）进行处理得到视角1的潜在特征代表Z1这里是通过一个非线性函数。E2同理，得到。同时为了得
Contrastive Multi-View Representation Learning on Graphs阅读笔记
m0_37525990的博客
03-22 1208
Contrastive Multi-View Representation Learning on Graphs 在图上用最大化互信息MI来学习表示，主要延伸GraphInfoMax 和SimSLR，又有孪生网路的结构又用了对比互信息。 最大化从图的不同结构视图编码的表示之间的MI来引入自监督方法来训练图编码器。 观点 将视图数量增加到两个以上不会提高性能，就用两个对比就行 通过对比来自一阶邻居的编码和图扩散这两个视图，可以实现最佳性能 跨视图对比节点和图的编码能够取得更好的结果 与分层图池化方法相比，简
论文阅读——Representation Learning with Contrastive Predictive Coding
probie的博客
02-21 383
摘要： 论文地址： Representation Learning with Contrastive Predictive Coding
CPC (representation learning with contrastive predictive coding)
林小川的博客
09-25 1万+
论文：https://arxiv.org/pdf/1807.03748.pdf 摘要： 监督学习在很多应用方面有了巨大的进步，但是非监督学习却没有如此广的应用，非监督学习是人工智能方面非常重要也非常具有挑战性的领域。这篇论文提出了 constrative predictive coding，一个非监督的通用的算法用于在高维度数据中提取有用的表示信息。算法的核心是通过强大的自回归（autoreg...
Representation Learning with Contrastive Predictive Coding (CPC) 论文理解
weixin_43120238的博客
04-27 279
"The key of CPC is learn such representations by predicting the future in latent space by using autoregressive models." CPC的重点在于通过在潜在空间预测”未来“来进行表征学习。 Intoruction We wise the features that are less specilized towards solving a single supervised task. 我们希望
CCF A类会议或期刊----近两年表示学习相关论文
Thincor的博客
03-20 2821
会议/期刊 论文 sigmod2021 Imminence Monitoring of Critical Events: A Representation Learning Approach. neurips2020 Ultrahyperbolic Representation Learning. neurips2020 Unsupervised Representation Learning by Invariance Propagation. neurips2020 Self....
详细解读论文 CPC：Representation Learning with Contrastive Predictive Coding
axept的博客
03-25 1343
Abstract: ​该篇论文提出了一种完全的无监督的方法，旨在从高维的特征空间中提取有效特征同时舍弃掉一些更加局部的特征。简单来说目的就是更加有效的提取特征，提取更加global的"slow features"。该方法较为通用，在很多任务中都可以得到应用，文中列举了：语音，图像，文本，3D领域强化学习等方向的应用。 Method: ​无监督学习并没有label来引导网络学习，就像一个野外长大的孩子，没有大人教他何为对错，只能从不断接触到的新的环境中寻找规律。为了提取到前面描述的“良好的“特征，该篇论文的方
development of multi-agent reinforcement learning
最新发布
03-30
Multi-agent reinforcement learning (MARL) is a subfield of reinforcement learning (RL) that involves multiple agents learning simultaneously in a shared environment. MARL has been studied for several decades, but recent advances in deep learning and computational power have led to significant progress in the field. The development of MARL can be divided into several key stages: 1. Early approaches: In the early days, MARL algorithms were based on game theory and heuristic methods. These approaches were limited in their ability to handle complex environments or large numbers of agents. 2. Independent Learners: The Independent Learners (IL) algorithm was proposed in the 1990s, which allowed agents to learn independently while interacting with a shared environment. This approach was successful in simple environments but often led to convergence issues in more complex scenarios. 3. Decentralized Partially Observable Markov Decision Process (Dec-POMDP): The Dec-POMDP framework was introduced to address the challenges of coordinating multiple agents in a decentralized manner. This approach models the environment as a Partially Observable Markov Decision Process (POMDP), which allows agents to reason about the beliefs and actions of other agents. 4. Deep MARL: The development of deep learning techniques, such as deep neural networks, has enabled the use of MARL in more complex environments. Deep MARL algorithms, such as Deep Q-Networks (DQN) and Deep Deterministic Policy Gradient (DDPG), have achieved state-of-the-art performance in many applications. 5. Multi-Agent Actor-Critic (MAAC): MAAC is a recent algorithm that combines the advantages of policy-based and value-based methods. MAAC uses an actor-critic architecture to learn decentralized policies and value functions for each agent, while also incorporating a centralized critic to estimate the global value function. Overall, the development of MARL has been driven by the need to address the challenges of coordinating multiple agents in complex environments. While there is still much to be learned in this field, recent advancements in deep learning and reinforcement learning have opened up new possibilities for developing more effective MARL algorithms.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值