对比学习论文阅读记录
文章平均质量分 75
主要是记录最近比较火的对比学习的论文的阅读过程。
CUHK-SZ-Bf
一只小程序员
展开
-
生成网络论文阅读styleGAN2(一):论文速览
styleGAN2的简短叙述原创 2022-09-22 17:44:34 · 373 阅读 · 0 评论 -
对比学习系列论文CPCforHAR(一):Contrastive Predictive Coding for Human Activity Recognition
0.Abusurt0.1逐句翻译Feature extraction is crucial for human activity recognition (HAR) using body-worn movement sensors.特征提取是利用佩戴式运动传感器进行人体活动识别的关键。Recently, learned representations have been used successfully, offering promising alternatives to manually en原创 2021-12-13 15:00:14 · 892 阅读 · 0 评论 -
对比学习系列论文SimROD(二): A Simple Adaptation Method for Robust Object Detection
这是一个关于simROD目标检测论文的阅读笔记,这个东西其实不算对比学习,但是因为他也使用了孪生网络,所以就也放在对比学习里面了。原创 2021-12-05 22:04:32 · 518 阅读 · 0 评论 -
对比学习系列论文CPC(二)—Representation Learning with Contrastive Predictive Coding
这篇是我针对对比学习鼻祖论文CPC的阅读记录,这其中包括原文翻译和逐段总结。原创 2021-12-04 15:59:19 · 2087 阅读 · 1 评论 -
对比学习系列论文CPC(一)——CPC概览
1.为什么要进行无监督学习?CPC作者回答的首要问题就是我们使用无监督学习的原因,他表示有监督学的模型有一定的脆弱性,很难进行迁移。也就是鲁棒性不好。这个主要因为当我们在进行一类任务的classification的时候我们提取出的信息大多和当前这个分类领域相关,所以当我们迁移到其他领域的时候,我们当前的模型就很难适应其他的环境了。所以为了解决这个问题,我们可以使用无监督的方式学习特征,因为我们没有特定的标签也就不存在标签的特定领域的问题,提取的信息也就更加均衡。2.进行深度学习的难点有哪些?这个段原创 2021-12-03 15:47:05 · 1980 阅读 · 0 评论 -
对比学习simSiam(一)--Exploring Simple Siamese Representation Learning总体理解
从名字上把握sim是我们熟知的相似的原创 2021-10-25 12:57:40 · 1145 阅读 · 0 评论 -
对比学习系列论文SDCLR(二)-Self-Damaging Contrastive Learning
0.Abstract0.1逐句翻译The recent breakthrough achieved by contrastive learning accelerates the pace for deploying unsupervised training on real-world data applications.最近通过对比学习取得的突破加快了在真实数据应用中部署无监督训练的步伐。However, unlabeled data in reality is commonly imbalan原创 2021-10-24 17:00:47 · 459 阅读 · 0 评论 -
对比学习系列论文SDCLR(一)-Self-Damaging Contrastive Learning论文的概括
1.研究背景一切的大背景是对比学习大发展1.传统深度学习当中就存在这个问题。2.虽然之前的工作指出,对比学习受到长尾问题影响比较小;但是作者实验发现长尾问题可能对对比学习影响更大。3.因为我们在无监督学习当中没有有效的分类标签,所以传统的解决长尾问题的方法可能并不奏效。(大约隐含的就是还是得需要我们来解决这个问题)2.使用方法1.使用传统的simCLR的结构,最后也接正常的对比损失函数。2.由于剪枝很容易剪掉不经常出现的长尾数据,这样就导致我们可以借助这个特点发现长尾数据。3.我们通过原创 2021-10-24 17:00:19 · 154 阅读 · 0 评论 -
对比学习系列论文MoCo v1(二):Momentum Contrast for Unsupervised Visual Representation Learning
0.AbstractWe present Momentum Contrast (MoCo) for unsupervised visual representation learning.我们提出了动量对比(MoCo)用于无监督视觉表征学习。From a perspective on contrastive learning [29] as dictionary look-up, we build a dynamic dictionary with a queue and a moving-avera原创 2021-09-14 18:50:02 · 1438 阅读 · 0 评论 -
MoCo论文中的Algorithm 1伪代码解读
具体解读了什么东西论文中提供的伪代码大约如下:下面我将分步骤介绍这个代码干什么1.query encoder和key encoder的参数初始化其实也没表达什么就是一开始大家的参数是一样的:f_k.params = f_q.params2.之后就是loader当中取数据这个也没啥的就是取出来数据的问题:for x in loader: # load a minibatch x with N samples3.数据增强就是代码不是直接将内容输入其中,也会通过数据增强取出内容x_q原创 2021-08-23 20:04:58 · 2123 阅读 · 0 评论 -
对比学习系列论文MoCo v1(一):MoCo v1的预览
1.对比学习到底在干啥?1.1最原始的对比学习是什么?为了顺利的入门对比学习我们得先看懂下面的图片:首先(a):理解一下这里的xq和xk,这两个东西其实是来自于一张图片,只是做了一些数据增强(我理解数据增强应该是不训练的)。之后再使用不同的encoder之后得到q和k之后计算两个的相似度,让两者相似度升高,这个其实是有一个对抗的思想在里面。1.2之后做的工作有哪些?其次(b):理解一下就是不对抗了,直接key的一侧不进行更新了。最后(c):MoCo在做什么工作,这里其实没有表示出MoCo关于qu原创 2021-07-29 11:13:04 · 902 阅读 · 0 评论