CLIP算法的Loss详解 和 交叉熵CrossEntropy实现

已于 2022-08-05 17:03:11 修改
阅读量2.3w 收藏 48
点赞数 24
分类专栏： 大模型 (LLM) 文章标签： 算法 深度学习 pytorch
于 2022-06-01 18:25:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caroline_wendy/article/details/125088243
版权
本文详细探讨了CLIP（可对比语言-图像预训练）算法的Loss，并提供了交叉熵函数的实现，包括在PyTorch中的应用。通过对CLIP流程的介绍和源码分析，解释了如何计算损失并进行训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CLIP：Contrastive Language–Image Pre-training(可对比语言-图像预训练算法)是OpenAI提出的多模态预训练的算法，在各种各样的**样本对(图像、文本)**上训练的神经网络。

具体参考：CLIP、OpenCLIP

image-20220601180224080

其中，流程：

image-20220601180639145

loss_i和loss_t的具体源码如下，参考 model.py：

    def forward
了解本专栏 订阅专栏 解锁全文 超级会员免费看
NLP高频面试题（四十五）——PPO 算法在 RLHF 中的原理与实现详解
WeLearnNLP
04-16 302
近端策略优化（PPO）是一种基于策略梯度的深度强化学习算法。PPO 由 OpenAI 团队于 2017 年提出，旨在在保证策略更新稳定性的同时提高训练效率。与经典的策略梯度方法（如 REINFORCE）相比，PPO 引入了“近端”约束，避免每次更新时策略发生过大变化；与先前的信赖域策略优化（Trust Region Policy Optimization, TRPO）方法相比，PPO 的实现更加简单、高效，无需二阶导数计算。
【DAPO算法原理详解：一个开源的LLM大规模强化学习系统】超越 DeepSeek GRPO的关键RL算法，字节、清华AIR开源DAPO
最新发布
AI天才研究院
03-27 93
DAPO 在公平的RL端比较中，基于Qwen-32B-pretrain model与DeepSeek的GRPO RL对比情况，还介绍了多种试验及技术。关键要点包括：​1.DAPO性能优势：在纯RL端比较中，DAPO能beat DeepSeek的GRPO RL，内场alphaseed代码跑到47，更新数据resume到50，外场开源代码verl用老数据和老算法版本跑到45。​。
CLIP:CLIP算法的实现
03-27
夹子 几天后，该存储库将为CLIP：神经元网络的廉价Lipschitz培训[1]中提出的，用于Lipschitz正则化神经网络的CLIP算法提供一种实现。 ！[公式]（ {i \ pi} = -1） 随时使用它，这样做时请参考我们的论文。 先决条件 我们的代码是通过python实现的，并利用了PyTorch （另请参见其git ）。 参考 [1] Leon Bungert，RenéRaab，Tim Roith，Leo Schwinn，Daniel Tenbrinck。 “ CLIP：神经网络的廉价Lipschitz培训。” arXiv预印本arXiv：2103.12531（2021）。
CLIP 的核心训练代码与对比损失的解释：中英双语
阿正的梦工坊
12-13 2482
CLIP's contrastive loss leverages softmax and cross-entropy to align multimodal embeddings effectively.
多模态对齐损失设计全解析：CLIP模型实现图文语义空间统一的原理详解与实战指南
燃灯工作室
02-16 1031
通过以上系统化的技术解析与实战案例，开发者可以快速掌握多模态对齐损失的核心设计方法。建议在实际应用中根据具体场景调整温度系数和负样本策略，同时关注最新的大规模预训练方法以获取更好的跨模态表征能力。：在CC3M数据集上，τ=0.07时零样本准确率比τ=0.2时高9.8%：将商品图片与描述文本对齐。：检测图文不一致的违规内容。
【深度学习】详解 CLIP
闻韶
12-01 1万+
【深度学习】详解 CLIP - Learning Transferable Visual Models From Natural Language Supervision
Directional CLIP loss
vivi_cin的博客
12-02 272
具体来说，Directional CLIP loss 的目的是在CLIP空间中识别出源域和目标域之间的方向，然后微调生成器，使得它产生的图像与源域的差异仅沿着这个文本描述的方向。Directional CLIP loss 是在论文 "StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators" 中提出的一种损失函数，用于指导图像生成器在特定领域生成图像，仅通过文本提示，而无需看到任何图像。与源文本和目标文本规定的方向。
CLIP的loss计算
Qiming的博客
07-09 733
CLIP的loss计算
CLIP损失函数的理解
思念殇千寻的博客
06-13 1万+
　　参考资料： 　　[一个写的相当好的教程] 　　[CLIP huggingface源码：CLIPModel] 　　[CLIP huggingface训练例程] 　　这篇文章首先展示CLIP损失函数的两种底层实现代码，然后聊一聊自己的理解。 　　说实话念硕士的时候没有接触过CLIP这个东西，来实习之后发现这个多模态的模型使用非常广泛，设计理念也是看后惊为天人。加上最近有探究任务研究CLIP，BL...
损失函数
jindaxiaoooo的博客
09-29 1517
神经网络是通过某个指标来表现现在的状态，然后，以这个指标为基准，寻找最优参数。 神经网络中的指标称为损失函数（loss function）。这个损失函数可以使用任意函数，但是一般用均方差误差和交叉熵误差。 均方差误差（mean squared error）： 均方误差是最有名的损失函数。式子如下： 其中 yky_{k}yk​是输出神经第k个神经元的输出； tkt_{k}tk​是输出神经第k个神经元的监督数据； kkk表示输出的神经元的个数 比如： 在手写数字识别中，yyy，ttt分别表示如下： y是so
VLM--CLIP作分类任务的损失函数
qq_61786525的博客
12-22 1787
这个是clip作对比学习的损失函数各个博客上都有详细介绍了，我这里就不赘述。
pytorch 交叉损失熵函数及CLIP中的对比函数
qq_45023582的博客
10-31 3091
在深度学习进行分类任务时经常用到交叉损失熵函数：首先定义logic表示余弦相似度，labels表示真实标签。可以直接使用交叉熵损失函数其中logic是一个，N表示有多少个样本（BatchSize），C表示类别总数。例如表示有三个样本，四个类别。而labels是一个，大小为N。表示N个样本所对应的真实类别。如label=[3,0,1]，表示一个有三个样本，第一个样本对应的真实标签为3，第二个真实标签为0，第三个真实标签为1.
交叉熵cross entropy
shuijinghua的博客
02-23 3662
在统计学中,损失函数是一种衡量损失和错误程度的函数.建设某样本的实际输出为a,而预计的输出为y,则y和a之间可能会不一样,存在偏差,深度学习的目的就是通过不断地训练迭代,使得a越来越接近y,即,而训练的本质就是寻找损失函数最小值的过程. 常见的损失函数有两种,一种是均方差函数,另一种是交叉熵函数,对于深度学习而言,交叉熵函数要优于均方差函数,原因在于交叉熵函数配合输出层的激活函数如...
PPO(Proximal Policy Optimization)算法原理及实现,详解近端策略优化
热门推荐
weixin_41106546的博客
04-04 9万+
接着上面的讲，PG方法一个很大的缺点就是参数更新慢，因为我们每更新一次参数都需要进行重新的采样，这其实是中on-policy的策略，即我们想要训练的agent和与环境进行交互的agent是同一个agent；与之对应的就是off-policy的策略，即想要训练的agent和与环境进行交互的agent不是同一个agent，简单来说，就是拿别人的经验来训练自己。举个下棋的例子，如果你是通过自己下棋来不断提升自己的棋艺，那么就是on-policy的，如果是通过看别人下棋来提升自己，那么就是off-policy的。
大模型理解之CLIP
weixin_43415275的博客
08-28 1288
2021年2月份，CLIP模型被提出，想法很简单，性能高效，而且具备很好的泛化性。我在这里简单谈论下我对CLIP模型的理解，以及发现的一些问题。我是在沐神的视频中了解的CLIP, 里面提到CLIP最大的贡献在于打破了固定类别标签范式。我对这句话是这样理解的：就拿一般的分类任务来说，每一张图片对应一个类别，类别数量都是固定的，当模型训练好后，在实际使用过程中，一但出现一个从未出现的类别，模型是无法识别出来的。
【有啥问啥】多模态CLIP浅解
Chauvin的博客
07-16 2848
CLIP通过对比学习方法在大规模图文配对数据上进行预训练，使其在文本和图像之间建立了强大的关联。CLIP不仅在图像搜索、文本生成、图像分类等任务中表现出色，还能进行零样本分类等复杂任务。其强大的多模态理解能力使得CLIP在多个领域具有广泛的应用前景。通过详细的公式解释和代码示例，相信读者能够更好地理解CLIP的原理和应用。希望这篇文章能对您深入理解和应用CLIP有所帮助。
CLIP：万物分类（视觉语言大模型）
aibigtruth的博客
11-13 3016
本文来着公众号“AI大道理”​论文地址：https://arxiv.org/abs/2103.00020传统的分类模型需要先验的定义固定的类别，然后经过CNN提取特征，经过softmax进行分类。然而这种模式有个致命的缺点，那就是想加入新的一类就得重新定义这个类别的标签，并重新训练模型，这样非常不方便。CLIP打破了这个桎梏。CLIP能做到在一定标签内进行训练，标签外的也能进行分类。那么CLIP到底是如何认识未知的事物的呢？1、从人脸识别开始说起最早的打破固定标签的方法和应用就是人脸识别了。
从零实现CLIP模型
sgzqc的专栏
01-07 5078
总之，这篇博客文章探讨了CLIP模型，揭示了其广泛应用的潜力。随着我们对CLIP应用的了解，很明显，它的影响远远超出了最初的预期，为不同领域的创新解决方案铺平了道路。您学废了嘛?戳我。
CLIP原理解读——大模型论文阅读笔记一
Guo_Python的博客
06-07 1万+
模型的输入是图片和文字的配对，图片输入到图片的encoder得到一些特征，文本输入到文本的encoder得到一些特征，每个traning batch里有n个图片-文本对，就能得到n个图片的特征和n个文本的特征，然后在这些特征上做对比学习，对比学习非常灵活，就需要正样本和负样本的定义，其它都是正常套路（不懂对比学习），配对的图片-文本对就是正样本，描述的是同一个东西，特征矩阵里对角线上的都是正样本，矩阵中非对角线上的元素都是负样本，有了正负样本，模型就可以通过对比学习的方式去训练了，不需要任何手工标注。
DPO模型优化损失函数详解
10-10
DPO (Deep Policy Optimization) 模型通常应用于强化学习领域，其中的优化过程涉及对策略网络（Policy Network）的学习。损失函数是用来衡量策略性能的一种度量，它指导了我们更新网络权重的方向。DPO 的优化损失函数主要包括两个部分： 1. **行为克隆损失 (Behavior Cloning Loss)**: 这部分目标是让模型尽可能地复制专家数据集中的行为，即模仿已有的最优行为。它是基于监督学习的，计算当前网络生成的动作分布与专家动作的一致性，通常用交叉熵作为损失。 行为克隆损失公式可以表示为： ``` L_bc = -\sum_{s \in S} log(\pi_\theta(a|s)) * r(s, a) ``` 其中 \(S\) 是状态空间，\(a\) 是动作，\(\pi_\theta\) 是由参数 \(\theta\) 定义的策略网络，\(r(s, a)\) 是从专家数据获得的奖励。 2. **优势估 计损失 (Advantage Estimation Loss)**: 为了鼓励探索未知的行为并防止过度依赖当前行为，DPO 引入了优势函数（Advantage），它量化了代理在一个状态下采取某个行动相对于其他所有可能行动的好坏。损失函数会最大化期望的累积优势而不是简单回报，这有助于长期决策质量。 优势估计损失一般使用 GAE (Generalized Advantage Estimation) 或者 clipped advantage estimation，例如： ``` L_clip = \mathbb{E}_{s, a, s'} [(A^{\pi_\theta}(s, a) - clip(A^{\pi_\theta}(s, a), -c, c))^2] ``` 其中 \(A^{\pi_\theta}\) 是优势函数，\(c\) 是剪切阈值。 DPO 算法会在每一步都结合这两个损失，并通过梯度下降来调整策略网络的参数 \(\theta\)，使得网络更好地平衡模仿与探索。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ManonLegrand

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值