simcse用pytorch计算loss

最新推荐文章于 2024-09-14 09:26:21 发布
最新推荐文章于 2024-09-14 09:26:21 发布
阅读量284 收藏
点赞数
分类专栏： pytorch 文章标签： pytorch 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33624866/article/details/129046234
版权
该文描述了一个使用PyTorch在GPU上执行的序列操作过程，包括创建索引序列，计算128768扩充后的128128相似度矩阵，应用cosine_similarity函数，减去对角线元素并除以lambda值。接着，利用这些相似度矩阵计算交叉熵损失，其中标签被用作分类，第0个元素仅匹配第1类。
摘要由CSDN通过智能技术生成

1、
idxs = torch.arange(0, y_pred.shape[0], device=‘cuda’)
y_true = idxs + 1 - idxs % 2 * 2
排序加上2以内反序，得到【1，0，3，2】的序列

2、
128768的扩充，最后计算成128128的相似度
similarities = F.cosine_similarity(y_pred.unsqueeze(1), y_pred.unsqueeze(0), dim=2)
similarities = similarities - torch.eye(y_pred.shape[0], device=‘cuda’) * 1e12
similarities = similarities / lamda

3、
最后一步，计算loss时把label当成分类计算，及第0个仅分类到第1类，即维度不同的loss计算
loss = F.cross_entropy(similarities, y_true)

simcse SIMCSE pytorch 源码 文本分类 文本匹配 直接运行
04-21
simcse SIMCSE pytorch 源码 可以直接在window下运行 有预加载的权重 有训练数据 可以直接运行 可以直接在window下运行 有预加载的权
simcse的lose函数理解
sslfk的博客
03-01 1665
https://github.com/bojone/SimCSE 源代码如下： def simcse_loss(y_true, y_pred): """用于SimCSE训练的loss """ # 构造标签 idxs = K.arange(0, K.shape(y_pred)[0]) idxs_1 = idxs[None, :] idxs_2 = (idxs + 1 - idxs % 2 * 2)[:, None] y_true = K.equal
SimCSE中文版Pytorch实现指南
最新发布
gitblog_01188的博客
09-14 318
SimCSE中文版Pytorch实现指南 项目地址:https://gitcode.com/gh_mirrors/si/SimCSE-Chinese-Pytorch 1. 项目介绍 SimCSE-Chinese-Pytorch 是一个基于PyTorch框架的SimCSE（Similarity Contrastive Sentence Embeddings）中文复现项目。该项目旨在简化中文文本相似度...
细节满满！理解对比学习和SimCSE，就看这6个知识点
Paper weekly
06-01 3153
‍‍‍‍‍‍©PaperWeekly 原创 · 作者 |海晨威研究方向|自然语言处理‍‍‍‍‍‍2020 年的 Moco 和 SimCLR 等，掀起了对比学习在 CV 领域的热潮，2...
无监督对比学习SIMCSE理解和中文实验操作
热门推荐
HUSTHY的博客
09-09 1万+
一、SIMCSE原理理解 论文的背景、核心思想、如何构建正样本对——为何这样就能构造一个很好的样本对(bert模型中dropout的理解)、损失函数的理解，错误负样本对结果的影响，有没有好的方法构建一批两两之间都是负样本的数据集，会不会提高SIMCSE的效果？ 二、文本相似度实验对比 可以把bert原生不微调的对比结果、微调后的； 有监督的sentence-bert后然后再采用simce对比一下效果。 ...
SimCSE论文及源码解读
Swift's Blog
05-02 2789
对比学习的思想是拉近同类样本的距离，增大不同类样本的距离，目标是要从样本中学习到一个好的语义表示空间。SimCSE是一种简单的无监督对比学习框架，它通过对同一句子两次Dropout得到一对正样例，将该句子与同一个batch内的其它句子作为一对负样例。模型结构如下所示： 损失函数为： ℓi=−log⁡esim⁡(hizi,hizi′)/τ∑j=1Nesim⁡(hizi,hjzj′)/τ \ell_{i}=-\log \frac{e^{\operatorname{sim}\left(\mathbf{h}_{
Pytorch-Triplet_loss:用Pytorch实现三重损失
05-16
**Pytorch-Triplet_loss: 用Pytorch实现三重损失** 在深度学习领域，损失函数是模型训练的核心部分，它衡量模型预测结果与实际标签之间的差距。其中，三重损失（Triplet Loss）是一种在计算机视觉任务，尤其是人脸...
pytorch-center-loss：Pytorch实现中心损失
02-05
火炬中心损失Pytorch实现中心损失的方法： （ ）也使用此损失函数。开始吧克隆此仓库并运行代码$ git clone https://github.com/KaiyangZhou/pytorch-center-loss$ cd pytorch-center-loss$ python main.py --eval-...
Pytorch练习–绘制Loss曲线
12-21
在PyTorch中，绘制损失(loss)曲线是训练神经网络模型时常见的监控手段，它有助于我们理解模型在训练过程中的表现。在这个PyTorch练习中，我们将学习如何手动实现这一过程，而不是依赖于高级库如TensorBoard。我们将...
pytorch-fid：使用PyTorch计算FID分数
02-04
PyTorch的FID分数这是FréchetInception 到PyTorch正式实施的端口。 有关使用Tensorflow的原始实现，请参见 。 FID是两个图像数据集之间相似度的度量。 它被证明与人类对视觉质量的判断具有很好的相关性，并且最常...
SimCSE构造正负样本对与损失
algorithm learning blog
09-13 1211
SimCSE构造正负样本对与损失
simCSE simCSE
07-15
simCSEsimCSEsimCSEsimCSEsimCSE
有监督对比loss计算
xiashaoyan1的专栏
03-14 1416
有监督对比loss计算
句向量模型之SimCSE——Pytorch
qq_44193969的博客
10-01 4041
SimCSE模型主要分为两大块，一个是无监督的部分，一个是有监督的部分。整体结构如下图所示：论文地址:大道至简全部代码已上传至Github, 链接:数据集:提取码: hlva。
文本匹配之SimCSE学习（pytorch）
weixin_48799576的博客
06-17 1496
simcse模型一共包含两种训练方式，包括无监督部分和有监督部分。论文中模型的整体结构如下：论文首先使用了一种无监督的方法，仅仅使用dropout来对数据进行数据增广，即 将同一句子输入预训练的编码器两次，通过dropout可以得到两个不同的编码向量，这两条编码向量即作为“正对”。接着从小批量中其他的句子都作为负样本，模型预测否定句中的正句。
【自然语言处理】【Pytorch】从头实现SimCSE
bqw的博客
08-02 4018
github: Concise_SimCSE 博客内容：基于pytorch和transformers，从头开始实现SimCSE import torch import torch.nn as nn from abc import ABC from tqdm.notebook import tqdm from dataclasses import dataclass, field from typing import List, Union, Optional, Dict from torch.utils.
文本匹配SimCSE模型代码详解以及训练自己的中文数据集
weixin_42280271的博客
02-09 3680
这个模型的定义其实很简单，就是用bert作为特征提取的基础模型，然后再bert模型输出的基础上加上一个dropout操作，就是代码中的pooling层，核心代码就是下面几行outputs . append(output) count += 1 except : break output = bert . output # 最后的编码器 encoder = Model(bert . inputs , output)
探索自然语言深度学习：基于PyTorch的SimCSE实现
gitblog_00042的博客
06-19 422
探索自然语言深度学习：基于PyTorch的SimCSE实现 去发现同类优质开源项目:https://gitcode.com/ 在自然语言处理领域，我们常常寻求能够捕捉语义信息、准确理解并生成人类语言的算法。近期，一项名为SimCSE（Simple Contrastive Learning of Sentence Embeddings）的研究引起了广泛的关注。这个开源项目是其Python实现，专为无...
毕业设计：基于python的文本匹配算法系统
毕设帮助,疑难解答,欢迎打扰!
03-04 1880
毕业设计：基于python的文本匹配算法系统结合了最新的自然语言处理技术和机器学习算法，实现了高效的文本匹配和信息检索功能。通过深入研究文本预处理、特征提取、相似度计算等关键技术，我们的系统能够在复杂的海量文本数据中快速找到用户所需信息。对于计算机专业、软件工程专业、人工智能专业、大数据专业的毕业生而言，提供了一个具有挑战性和创新性的研究课题。无论您对深度学习技术保持浓厚兴趣，还是希望探索机器学习、算法或人工智能的领域的同学，能为您提供灵感和指导。
pytorch accuracy loss计算
05-13
在使用Pytorch计算accuracy和loss时，需要注意使用合适的数据集进行训练和测试。此外，还需要选择合适的loss函数和优化器来训练模型，以达到更好的训练效果。通过对accuracy和loss的监控和优化，可以提高模型的预测...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值