clip代码详解

本文深入解析CLIP模型的工作流程,包括图像和文本的特征提取损失,重点介绍了VIT Transformer的使用以及自监督学习策略。通过代码示例展示了特征提取和相似度计算的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

相关代码链接见文末

1.数据及流程 

        CLIP整体流程如下,首先对图像提特征、对文本提特征,并进行配对,计算出余弦相似度,另外,图像自身和文本自身进行自监督学习,因此loss函数有3个部分,包含图像的自监督学习、文本的自监督学习以及图像和文本的配对 

         

2.图像特征提取损失和文本特征提取损失

        在图像的特征提取中,分别对图像进行两种不同的数据增强q,k,并传入VIT进行特征提取。   

代码如下:

class SimCLR(nn.Module):
    def __init__(
        self,
        net,
        image_size,
        channels = 3,
        hidden_layer = -2,
        project_hidden = True,
     
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

樱花的浪漫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值