Projection head与使用例子

最新推荐文章于 2024-04-18 14:23:18 发布
最新推荐文章于 2024-04-18 14:23:18 发布
阅读量904 收藏 11
点赞数 14
文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50917576/article/details/136570398
版权

概念介绍

在深度学习中，Projection head是一种用于提取特征或表征的网络结构。它通常是一个或多个全连接层，将输入的高维特征映射到一个低维的向量空间，以便于进行后续的任务，如对比学习、聚类、分类等。

Projection head的使用

A Simple Framework for Contrastive Learning of Visual Representation

https://arxiv.org/abs/2002.05709

一张图像经过两个不同的变换，通过同一个encoder（Res50）得到 h，再经过一个Projection head（FC+ReLu），得到 z，结果互为正样本，负样本是其他图像和他们的变换结果。

Projection head只在训练时使用，做下游任务时使用encoder（Res50）的输出 h。

参考文章

【学习笔记】对比学习综述 （Contrastive Learning Review）-CSDN博客

十有久诚
关注
多头注意力(Multihead Attention)原理与代码实战案例讲解
程序员光剑
06-17 791
效率问题：尽管Transformer模型在性能上取得了巨大成功，但其计算复杂度较高，尤其是在处理长序列时。可解释性：多头注意力的决策过程不够透明，提高模型的可解释性是未来的一个研究方向。泛化能力：如何设计能够更好地泛化到不同任务和领域的多头注意力模型。
【例1700】modify current drawings projection angle 修改当前图纸的投影角度
最新发布
王牌飞行员_里海的博客
06-14 168
文章作者：里海 来源网站：NX二次开发官方案例专栏 代码解析 这段代码是NX的二次开发代码，主要功能是修改当前绘图的投影角度。具体功能如下：定义了错误报告函数report_error，用于在函数调用失败时输出错误信息。定义了do_it函数，用于获取当前绘图对象，查询其投影角度信息，并切换到另一投影角度。ufusr函数是NX二次开发的主入口函数。在这个函数中，首先调用UF_initialize函数进行初始化，然后调用do_it函数执行修改投影角度的操作，最后调用UF_terminate函数结束程序。ufusr
逐字稿 | 3 对比学习论文综述【论文精读】
云淡风轻_的博客
10-13 499
来到了 Transformer 时代，这里我们会提到 MOCO V3 和Dino，因为 vision Transformer 的爆火，我感觉估计有一半儿的视觉的这个研究者都投入了 vision Transformer 的怀抱。所以说对于自监督学习来说，不论你是对比学习还是最新的掩码学习，大家接下来都是用 vision Transformer 去做的. 当然肯定还有很多其他优秀的工作了。鉴于时间关系，我们这里只是把最有联系的一些工作串到一起，讲讲一下它们的相似之处和不同之处。每篇论文我们也不会精
SimCLR的nolinear 的MLP projection head 的 pytorch实现
ucas_v博客
07-12 936
SimCLR（Simultaneous Contrastive Learning of Representations）是一种无监督学习方法，用于学习图像表示。在SimCLR中，非线性MLP投影头(projection head)是一个重要组成部分，它将图像的隐藏表示转换为在对比学习任务中使用的形式。这是通过一个多层感知器（MLP）实现的，通常包含两个全连接层和一个ReLU激活函数。请注意，这个实现是一个简化的版本，仅用于演示。在SimCLR的情况下，输出维度通常与输入维度相同。实例，然后将数据传递给它。
Self-supervised Learning整理
CCjoffrey的博客
09-08 1306
Self-supervised Learning Pre-train Fine-tune Pre-train Fine-tune算是一种Transfer Learning。 首先，假设按照SimCLR中的设定，将一般的模型分为两部分，分别为Encoder和Projection Head。Encoder结构类似于AutoEncoder中的Encoder部分，输出是一个低维的张量，可以称为输入数据的表征。Projection Head可以认为是一个全连接层，将Encoder输出的张量映射为更低维的张量（或者称为
SimCLR论文 自监督学习效果逼近监督学习
jackzhang11的博客
07-04 2649
论文：A Simple Framework for Contrastive Learning of Visual Representations 论文链接：https://arxiv.org/pdf/2002.05709.pdf Lecun在2020的AAAI上表示看好自监督学习，在近两年，self-supervised learning的成果也越来越多，如MoCo，CPC等等。Hinton组的这篇SimCLR，比之前的SOTA方法在InageNet的top1的accuracy上提高了7个百分点，虽然有人说
[新手入门]深度学习常见术语解释-汇总
SmileSmile的博客
03-19 941
Backbone 主干网络-提取特征，是之后完成目标检测等一系列任务的基础。 e.g. VGG、ResNet、DenseNet…… (Detection) Head Backbone之后连接的网络层。 head是获取网络输出内容的网络，利用之前提取的特征，做出预测。比如获得图像分类、目标检测（分类+定位）等任务的结果。 e.g. [Dense Prediction / One Stage] - RPN、SSD、YOLO、RetinaNet [Sparse Prediction / Two Stage] -
一文入门对比学习
weixin_45621688的博客
04-29 403
自监督学习，通过创建正负样本对，来学习样本之间的相同与差异，获得对比条件下的特征，可以用在预训练阶段。
SimCLR框架解析
qq_40783513的博客
05-02 7001
介绍自监督学习——SimCLR框架
MapX-head-file.rar_head_mapx
09-24
而C++源代码文件可能是示例代码或辅助库，帮助开发者更好地理解和使用MapX控件。 1. **MapX核心概念：** - **地图对象（Map Object）**：这是MapX的核心，用于管理地图显示、缩放、平移等操作。 - **图层（Layer...
使用keras实现Multi-Head Self-Attentiond的代码
03-27
以下是使用Keras实现Multi-Head Self-Attention的示例代码： ```python import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers class MultiHeadSelfAttention(keras.layers...
论文解读：(SimCLR)A Simple Framework for Contrastive Learning of Visual Representations
weixin_50917576的博客
04-18 1784
本文提出了SimCLR:一个简单的视觉表征对比学习框架。我们简化了最近提出的对比自监督学习算法，而不需要专门的架构或内存库。为了理解是什么使对比预测任务能够学习有用的表示，我们系统地研究了我们框架的主要组成部分。我们表明: (1)数据增强的组成在定义有效的预测任务中起着关键作用; (2)在表征和对比损失之间引入可学习的非线性转换，大大提高了学习表征的质量; (3)与监督学习相比，对比学习受益于更大的批处理规模和更多的训练步骤。
无监督对比学习之力大砖飞的SimCLR《A Simple Framework for Contrastive Learning of Visual Representations》
weixin_42764932的博客
01-18 2905
书接上回，何老师的MoCo被SimCLR偷袭了，上来就是7个点的提升 SimCLR整的什么活儿？ SimCLR 基本流程如下，不赘述了 不同于MOCO的两个编码器，SimCLR还是沿用了一个encoder（本文用的是ResNet-50）的传统方法，不过提出了几个创新点。 1. 创新点一 选取最优的数据增强组合方式， random (crop + flip + color jitter + grayscale).合起来增强 Data augmentation对于训练好unsupervised contra
【学习笔记】对比学习综述 （Contrastive Learning Review）
weixin_44866655的博客
03-04 3652
对比学习13篇文章综述学习笔记
【论文阅读笔记】SimCLR - A Simple Framework for Contrastive Learning of Visual Representations
qq_44653420的博客
12-13 1130
【论文阅读笔记】SimCLR - A Simple Framework for Contrastive Learning of Visual Representations
SimCLR v2 论文阅读
qq_36868451的博客
03-12 767
SimCLR v2 论文阅读 Big Self-Supervised Models are Strong Semi-Supervised Learners 前言：这篇文章通过把NLP领域上的 大规模数据集上预训练+任务导向的微调 的思路应用到了CV领域，通过在ResNet上使用文章中设计的训练方法，仅通过少量的有标记的数据集进行调整，就超过了完全使用所有标记的数据集的模型的准确率。 0. 摘要 One paradigm for learning from few labeled examples while
无监督对比学习之师夷长技以制夷的MOCO v2《Improved Baselines with Momentum Contrastive Learning》
weixin_42764932的博客
01-18 2179
SimCLR凭借着几个trick和豪气冲天的GPU/TPU把MOCO干趴了 扭头MOCO就用SimCLR的trick干了回去， SimCLR，你在TPU上练的死劲不管用了！ MOCO v1 详见https://blog.csdn.net/weixin_42764932/article/details/112768710 MOCO v2 1. Projection Head 咱也在encoder之后增加了一个非线性映射 ImageNet linear classification accuracy:
Contrastive Learning（对比学习，MoCo，SimCLR，BYOL，SimSiam，SimCSE）
热门推荐
nakaizura
10-06 1万+
很多大佬认为，深度学习的本质就是做两件事情：Representation Learning（表示学习）和 Inductive Bias Learning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学习站台，自监督是未来！ 自监督学习有大类方法，一个是生成方法一个对比方法，如上图。生成方法往往会对像素级损失进行约束，而对比学习在表示学习上做的事情就是，其实模型不必要知道关于.
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

十有久诚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值