SimCLR论文blog讲解笔记------ICML 2020

最新推荐文章于 2023-06-30 17:22:03 发布
最新推荐文章于 2023-06-30 17:22:03 发布
阅读量374 收藏 4
点赞数 1
分类专栏： 无监督
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46239293/article/details/118546987
版权

SimCLR论文blog讲解笔记------ICML 2020

写在前面

全文来自【ICML 2020】SimCLR所作的笔记，我只不过是知识的搬运工。
如有侵权，请联系我删除。

Blog网页笔记

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

算法详解

在这里插入图片描述
在这里插入图片描述
首先，第一个公式什么意思呢？
其实非常好理解，不过是，向量归一化后点积的形式衡量相似性。
这其实在MoCoV1 和 Menmory bank 这两篇文章都有提到，且这里和MoCoV1一样用的是余弦衡量的相似性，如果记得没错的话。
N 个样本两种 data aug 2N，
这里 i，j 和 j i 就是一对正样本，简称正对，剩下的 2(N-1) 就是负样本。
1 是一个评估为1的指标函数。k 不等于 i 为 1 ，其余为0。
第三个公式则就是相邻更新aug函数的参数，通过相邻键的loss criterion。

相关文章

MoCoV1
NCE

落了一地秋
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ICML2020-2.zip
09-06
ICML 是 International Conference on Machine Learning的缩写，即国际机器学习大会。ICML如今已发展为由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议——人工智能顶会 ICML 2020-1 新鲜版论文集合
SimCLR 论文阅读
qq_36868451的博客
03-13 1947
SimCLR原文链接 1. 导读 ：这篇文章通过严密的实验设计，系统的探究出了学习出一个好的对比学习的网络的一些必要因素。在本篇文章中，有以下三点： Data argumentation 数据增强起到了至关重要的作用 对比学习的损失函数和非线性映射也有很重要的影响 更大的batch size和更多的迭代步骤能让对比学习的模型效果更好。（换句话说是不是说明收敛较慢呢？） 通过利用本文中实验验证的一些因素，作者设计出了一个新的对比学习的模型，称为SimCLR。通过在ImageNet上使用SimCLR进行自监
SimCLR框架解析
qq_40783513的博客
05-02 6368
介绍自监督学习——SimCLR框架
论文不详细解读（二）——SimCLR系列
最新发布
qq_44965314的博客
06-30 733
1）Encoder 变长变大：SimCLR v2 用了更大的ResNet架构，把原来的 ResNet-50 (4×) 拓展成了 ResNet-152 (3×) 和 selective kernels (SK)，记为 ResNet-152 (3×+SK)，变成这样以后，把这个预训练模型用 1%的 ImageNet的标签给 Fine-tune 一下，借助这一点点的有监督信息，获得了29个点的提升。假设现在有1张任意的图片x，叫做Original Image，先对它做数据增强，得到2张增强以后的图片x1和x2。
【对比学习论文】SimCLR 视觉表征对比学习的简单框架
qq_43058281的博客
02-25 882
SimCLR
SimCLR-[论文学习笔记]
qq_45634318的博客
07-28 3617
SimCLR-一个简单的对比学习框架
rigl-reproducibility:再现RigL（ICML 2020）作为ML再现性挑战2020的一部分
03-30
该存储库托管我们在2020年ICML上发布的《重复性报告的源代码。 Figure Courtsey：Evci等。 2020年。 入门 安装 python3.8 pytorch ：1.7.0+（最好支持GPU）。 然后， make install W＆B API密钥 将您的WandB ...
ICML2020-1.zip
09-06
ICML 是 International Conference on Machine Learning的缩写，即国际机器学习大会。ICML如今已发展为由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议——人工智能顶会 ICML 2020-1 新鲜版论文集合
DistillGAN:（ICML-W，2018）文本到图像合成，方法是从多个标题中提取概念
05-02
通过从多个字幕中提取概念来生成零摄图像在瑞典斯德哥尔摩举行的ICML 2018研讨会上被有限标签的``走向学习''接受。 根据其描述生成图像的现有方法使用一个标题来生成合理的图像。 一个标题本身无法捕获图像中可能...
Time-Series-Deconfounder:ICML 2020 论文代码
05-29
2020 年机器学习国际会议 (ICML) 代码作者：Ioana Bica ( ) 介绍 时间序列去混杂因素是一种因果推理方法，可以在存在隐藏混杂因素的情况下根据观察数据估计随时间推移的治疗效果。 时间序列Deconfounder包含两个...
SimCLR：SimCLR的PyTorch实现：视觉表示形式对比学习的简单框架
02-03
PyTorch SimCLR：视觉表示形式对比学习的简单框架 带有完整文档的博客文章： 另请参见。 安装 $ conda env create --name simclr --file env.yml $ conda activate simclr $ python run.py 配置文件 在运行SimCLR之前，请确保选择正确的运行配置。 您可以通过将关键字参数传递给run.py文件来更改正在运行的配置。 $ python run . py - data . / datasets - - dataset - name stl10 - - log - every - n - steps 100 - - epochs 100 如果要在CPU上运行它（出于调试目的），请使用--disable-cuda选项。 要进行16位精度的GPU培训，请确保安装并使用--fp16_precision标志。 功能评估 使用线性模型协议进行特征评估。 首先，我们在STL10 unsupervised集中使用SimCLR学习了功能。 然后，我们在SimCLR的冻结特征之上训练线性分类器。 根据从STL
SimCLR:SimCLR的PyTorch实现
03-20
SimCLR SimCLR的PyTorch实现：T. Chen等人的可视表示形式对比学习的简单框架。包括对以下方面的支持： 分布式数据并行训练 全局批量归一化 LARS（分层自适应速率缩放）优化器。 在Google Colab Notebook中打开SimCLR（具有TPU支持） 在tensorboard.dev上打开SimCLR结果比较： 快速入门（微调线性分类器） 这将下载一个预训练的模型并训练线性分类器，该分类器在STL-10测试仪上应具有± 82.9%的精度。 git clone https://github.com/spijkervet/SimCLR.git && cd SimCLR wget https://github.com/Spijkervet/SimCLR/releases/download/1.2/checkpoint_100.tar sh setup.sh ||
【ICML 2020对比学习论文解读】SimCLR: A Simple Framework for Contrastive Learning of Visual Representations
捡起一束光的博客
10-09 1171
对比学习是一种自监督学习方法，在无标签数据集上仍可以学习到较好的表征。对比学习的主要思想就是相似的样本的向量距离要近，不相似的要远，以此获得数据的高阶信息。
自监督对比学习框架SimCLR原理
qq_63708623的博客
06-23 3031
仔细观察图像，亮度较高的两条斜线是由正样本对产生的，说明经过训练的编码器，实现了正样本对之间的特征向量尽可能的相似，而与其他的负样本尽可能的不相似，达到了想要的效果。我们的目的是让softmax函数的分子尽可能的变大，分母尽可能的变小，也就是样本正样本之间的余弦相似度尽可能的大，与负样本之间的余弦相似度尽可能的小。接下来就要通过不同的特征向量，计算其InfoNCE损失，并根据损失，在反向传播的过程中，不断更新编码器中的权重项与偏置项，使得正样本对产生的特征特征向量对之间的相似性尽可能的大。
【深度学习】详解 SimCLR
闻韶
01-22 5159
【深度学习】详解 SimCLR - A Simple Framework for Contrastive Learning of Visual Representations
SimCLR框架的理解和代码实现以及代码讲解
热门推荐
AI公园
08-02 2万+
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：MARCIN ZABŁOCKI编译：ronghuaiyang导读如何使用SimCLR框架进行对比学习，看这个就明白了。在过...
SimCLR论文阅读笔记
YoooooL_的博客
04-22 375
原文链接https://arxiv.org/abs/2002.05709 隐空间是压缩数据的一个表示。隐空间的作用是为了找到模式(pattern)而学习数据特征并且简化数据表示。 triplet loss超越constrative loss的原因有两个：1）constrative loss有一个固定的a，而triplet loss能够灵活适应各种空间形状，一定程度上能够抵御噪声的影响；2）triplet loss只要求正例与正例的距离小于正例与负例...
对比学习（一）-双塔模型-simCLR
世上再无张显宗
06-15 3648
对比学习中的双塔模型：通过学习simCLR的模型来学习对比学习的基本结构和原理。
PYTORCH LIGHTNING DATAMODULES及SimCLR源码解读
xjunjin的博客
09-28 1570
官方文档地址 项目地址 PYTORCH LIGHTNING DATAMODULES DataModules将数据与模型解耦分开，从而可以只关注模型本身而不用关注数据 自定义DataModules时需要继承LightningModule，并实现以下几个方法 def __init__(self): # 一般用来指定data_dir(数据目录),定义transform,定义默认的self.dims,方便后面对数据的使用 def prepare_data(self): # 下载数据，在该函数对不对数据进行任何操作
2021-2022年发表的强化学习的论文
02-06
在 2021-2022 年发表的强化学习论文有很多，以下是一些有代表性的论文： 1. "Soft Actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor"，发表在 NeurIPS 2021 会议上...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值