ViT：2 理解CLIP

最新推荐文章于 2025-04-08 09:00:05 发布
最新推荐文章于 2025-04-08 09:00:05 发布
阅读量2.2k 收藏 22
点赞数 18
分类专栏： 具身智能 文章标签： ViT 具身智能 深度学习 人工智能 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Janexjy/article/details/139582808
版权
最低0.47元/天 解锁文章
手把手写深度学习(30)：Diffusion常规优化方法之DINO v2代替CLIP
沉迷单车的追风少年
11-23 1109
CLIP是多模态绝对利器之一，提取出的特征虽然能和文本做到很好的对齐，因此在多模态生成模型中作为首选方案。但是在一些需要理解细节特征的场景中，CLIP的能力完全被DINO v2打爆。这篇博客介绍一种Diffusion常规优化方法：用DINO v2代替CLIP，给出详细的代码和原理解读。
AI图像相似性搜索对比：VIT, CLIP, DINO-v2, BLIP-2
sexy19910923的博客
11-03 3380
使用不同的 AI 模型，例如 ViT、CLIP、BLIP、EfficientNet、DINO-v2 和 VGG16比较图像并查看它们的相似之处。
ViT（Vision Transformer） VS CLIP
最新发布
charles666666的博客
04-08 653
概念：ViT是基于Transformer架构的图像处理模型，将图像分割为固定大小的“patch”（图像块），类似文本处理中的token，通过自注意力机制捕捉全局特征。三、ViT与CLIP的关系与区别。2.CLIP的应用场景。1.ViT的应用场景。
基于CLIP_ViT模型搭建相似图像检索系统
柊泓迅的博客
07-05 2175
涉及到的知识：余弦相似度、监督学习，无监督学习、线性、非线性、正负样本、对比学习clip、多模态、VIT、transfomers、prompt、zero shot分类任务。
（2023，CLIP:ViT）跨生成模型泛化的通用假图像检测器
qq_44681809的博客
08-20 2529
当图像包含生成模型的指纹时，就会被分类为假图像。这是因为分类器很容易锁定区分真假图像的低级伪影。为解决这个问题，作者使用未经训练的特征空间来区分真假图像。当能够访问大型预训练视觉语言模型的特征空间时，最近邻分类有良好泛化能力。
clip模型
weixin_43360707的博客
09-14 1001
CLIP，它解决文字和图片之间对应的问题。我们常规训练模型后，万一要新增一个分类，这个时候只能重新训练，然后重复之前的工作。那么有没有一个办法，让我们不用重复之前的工作呢？GPT中有一个zero-shot，我们只要训练好一个大模型，然后通过一些提示，就能让它自动分类识别。
多模态大模型MLLM VIT CLIP BLIP
weixin_40929413的博客
05-06 1102
Vit（Vision Transformer）即将Transformer应用于视觉领域。Transformer输入输出都是一个序列，若需要应用于视觉领域，则需要考虑如何将一个2d图片转化为一个1d的序列，最直观的想法将图片中的像素点输入到transformer中，模型训练中图片的大小是224*224=50176，而正常的bert的序列长度是512，复杂度太高。1.Vit在输入序列长度的改进（1）使用网络中间的特征图。
hugging face的models-openai-clip-vit-large-patch14文件夹
03-08
《拥抱未来：深入理解Hugging Face的models-openai-clip-vit-large-patch14》 在当前的AI领域，预训练模型已经成为推动技术创新的重要力量。Hugging Face作为一个集成了大量机器学习模型的平台，为开发者提供了丰富...
MoDE: CLIP Data Experts via Clustering（MODE：基于聚类的CLIP数据专家）
acdxjq的博客
11-17 1029
计算机小白读论文的记录，不建议作为参考。
[CLIP-VIT-L + Qwen] 多模态大模型源码阅读 - MultiModal篇
FlowerLoveJava的博客
08-24 948
使用nn.Sequential创建一个顺序执行的深度网络块，nn,Linear为全连接线性层，第一个全连接层接受视觉模型的输入，将输入的维度转换为语言模型隐藏层维度的输出，经过一个激活函数GELU增加模型的非线性，经过另一个线性全连接层转换后输出。调用父类的to方法，传入*args, **kwargs参数，提高代码的可拓展性。假设传入的Input_ids的size为（1,5），利用语言模型生成结果的size为（1,10），这里切片操作的目的就是只获取模型的生成结果，即预测结果，out[1,5：-1]
经典论文阅读笔记——VIT、Swin Transformer、MAE、CILP
gailj
03-22 1万+
  本博客针对视觉Transformer方面的工作，对当前热点研究做一下总结。主要是VIT、Swin Transformer、MAE、CILP 这四篇。 VIT（用于图像分类）   ViT（vision transformer）是Google在2020年提出的直接将transformer应用在图像分类的模型，后面很多的工作都是基于ViT进行改进的。   ViT的思路很简单：直接把图像分成固定大小的patchs，然后通过线性变换得到patch embedding，这就类比NLP的words和word embe
【小白】一文读懂CLIP图文多模态模型
热门推荐
weixin_47228643的博客
03-15 12万+
CLIP（Contrastive Language-Image Pre-Training）模型是一种多模态预训练神经网络，由OpenAI在2021年发布，是从自然语言监督中学习的一种有效且可扩展的方法。CLIP在预训练期间学习执行广泛的任务，包括OCR，地理定位，动作识别，并且在计算效率更高的同时优于公开可用的最佳ImageNet模型。该模型的核心思想是使用大量图像和文本的配对数据进行预训练，以学习图像和文本之间的对齐关系。
BLIP-2 ~2
whaosoft143ai的博客
06-25 369
这个是BLIP-2的第二部啊 ,节约多模态训练成本：冻结预训练好的视觉语言模型参数BLIP-2提出了一种借助现成的冻结参数的预训练视觉模型和大型语言模型的，高效的视觉语言预训练方法。BLIP-2 是一种多模态 Transformer 模型，主要针对以往的视觉-语言预训练 (Vision-Language Pre-training, VLP) 模型端到端训练导致计算代价过高的问题。所以，如果能够使用，应该能够节约不少的计算代价。BLIP-2 就是这样，这个工作提出了一种借助现成的和。whaosoft aiot
CLIP-VIT-Large-Patch14：探索视觉模型的前沿技术
gitblog_02508的博客
12-16 1138
CLIP-VIT-Large-Patch14：探索视觉模型的前沿技术 clip-vit-large-patch14 项目地址: https://gitcode.com/mirrors/openai/clip-vit-large-...
融合CLIP和VitB_16生成逼真3D虚拟形象
AI智能涌现深度研究
04-07 241
融合CLIP和Vit-B/16生成逼真3D虚拟形象 作者：禅与计算机程序设计艺术 1. 背景介绍 近年来,随着深度学习技术的不断发展,虚拟形象生成已经成为一个备受关注的研究热点。其中,融合CLIP(Contrastive Language-Image Pre-
clip模型学习
weixin_41012399的博客
08-16 399
参考：https://blog.csdn.net/weixin_53280379/article/details/125585445CLIP的训练数据是文本-图像对：一张图像和它对应的文本描述，这里希望通过对比学习，模型能够学习到文本-图像对的匹配关系。如下图所示，CLIP包括两个模型：Text Encoder和Image Encoder，其中Text Encoder用来提取文本的特征，可以采用NLP中常用的text transformer模型；
极智AI | 变形金刚大家族 Transformer ViT CLIP BLIP BERT 模型结构
极智视界
07-19 1376
大家好，我是极智视界，本文整理介绍一下 变形金刚大家族 Transformer ViT CLIP BLIP BERT 模型结构。
CLIP-VIT-L + Qwen 多模态源码阅读 - 语言模型篇（3）
FlowerLoveJava的博客
08-20 1587
如果batch_size合法，我们重塑attention_mask的第一个维度为batch_size。其他情况，我们初始化一个空的ntk_alpha_list，如果存在attention_mask且kv_seq_len大于继承的成员变量self.seq_len，我们用attenrion_mask计算序列的实际长度，这里去除掉四维张量attenrion_mask的中间两个维度，计算seq_len维度中指为0的元素数量（由于之前翻转了attention_mask，所以值为0代表我们需要关注的元素）。
CLIP + VIT
01-01
### CLIP与Vision Transformer(ViT)的集成或对比 #### 集成方式 CLIP模型通过多模态学习框架，能够联合训练图像编码器和文本编码器，在此过程中可以采用不同的架构作为图像编码部分。当选用ViT作为CLIP中的图像编码组件时，这种组合充分利用了两者的优势[^1]。 对于具体的实现方法，下面给出一段简单的伪代码来展示如何基于PyTorch平台构建一个融合CLIP-ViT结构的基础框架： ```python import torch from clip import load as load_clip from vit_pytorch import ViT class ClipWithViT(torch.nn.Module): def __init__(self, pretrained_clip_name='RN50', image_size=224, patch_size=32, dim=768): super(ClipWithViT, self).__init__() # 加载预训练好的CLIP模型并获取其文本编码器 model, preprocess = load_clip(pretrained_clip_name) self.text_encoder = model.transformer # 定义新的ViT用于替换原有的图像编码器 self.image_encoder = ViT( image_size=image_size, patch_size=patch_size, num_classes=dim, dim=dim, depth=12, heads=12, mlp_dim=3072 ) def forward(self, text_input_ids, images): text_features = self.text_encoder(text_input_ids)[0] image_features = self.image_encoder(images) return { 'text_features': text_features, 'image_features': image_features } ``` 上述代码片段仅提供了一个基础概念性的示意，并未涉及实际调参细节以及优化策略等问题。 #### 对比分析 相较于传统的卷积神经网络(Convolutional Neural Networks,CNN)，ViT具有更强大的表达能力，尤其是在处理大规模数据集上表现优异；而CLIP则擅长于理解不同形式的数据之间的语义关联性。因此，将二者结合起来可以在保持较高精度的同时提高泛化性能，特别是在少样本场景下有着更好的适应性和鲁棒性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值