clip预训练好的模型下载地址，github上扒的

最新推荐文章于 2024-04-03 08:51:27 发布
最新推荐文章于 2024-04-03 08:51:27 发布
阅读量4.2k 收藏 17
点赞数 8
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36797410/article/details/127089601
版权

I find the pre-train model you provided in this
“RN50”:“https://openaipublic.azureedge.net/clip/models/afeb0e10f9e5a86da6080e35cf09123aca3b358a0c3e3b6c78a7b63bc04b6762/RN50.pt”, “RN101”:“https://openaipublic.azureedge.net/clip/models/8fa8567bab74a42d41c5915025a8e4538c3bdbe8804a470a72f30b0d94fab599/RN101.pt”, “RN50x4”:“https://openaipublic.azureedge.net/clip/models/7e526bd135e493cef0776de27d5f42653e6b4c8bf9e0f653bb11773263205fdd/RN50x4.pt”, “ViTB/32”:“https://openaipublic.azureedge.net/clip/models/40d365715913c9da98579312b702a82c18be219cc2a73407c4526f58eba950af/ViT-B-32.pt”,

JQbiu
关注
  • 8
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
clip代码详解
qq_52053775的博客
10-26 4892
代码地址：https://github.com/lucidrains/DALLE2-pytorch不需要准备数据就能运行，适合只查看源码运行流程注意:配置环境时需要新建环境，下载dalle2-pytorch会自动卸载原环境的pytorch CLIP整体流程如下，首先对图像提特征、对文本提特征，并进行配对，计算出余弦相似度，另外，图像自身和文本自身进行自监督学习，因此loss函数有3个部分，包含图像的自监督学习、文本的自监督学习以及图像和文本的配对 在图像的特征
CLIP:对比语言-图像预训练
03-08
夹子 CLIP（对比语言－图像预训练）是在各种（图像，文本）对上训练的神经网络。 可以用自然语言指示它来预测给定图像的最相关的文本片段，而无需直接针对任务进行优化，类似于GPT-2和3的零射功能。我们发现CLIP与原始ResNet50的性能匹配无需使用任何原始的1.28M标记示例，就可以在ImageNet上实现“零镜头”，从而克服了计算机视觉方面的几个主要挑战。 方法 用法 首先，和torchvision，以及小的附加依赖项，然后将此回购作为Python软件包安装。 在CUDA GPU机器上，以下方法可以解决问题： $ conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=11.0 $ pip install ftfy regex tqdm $ pip install git+https://githu
yolov5预训练模型.zip
08-04
此文件是yolov5的预先训练模型（包含yolov5s.pt、yolov5x.pt、yolov5l.pt），可以直接用来进行迁移学习、检测和测试，更新日期为2020年8月4日。验证8月4日github上面代码可以直接训练。
openai多模态大模型：clip详解及实战
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
08-20 2万+
零次学习（Zero-Shot Learning，简称ZSL）假设斑马是未见过的类别，但根据描述外形和马相似、有类似老虎的条纹、具有熊猫相似的颜色，通过这些描述推理出斑马的具体形态，从而能对斑马进行辨认。零次学习就是希望能够模仿人类的这个推理过程，使得计算机具有识别新事物的能力，如下图所示。如今深度学习非常火热，使得纯监督学习在很多任务上都达到了让人惊叹的结果，但其限制是：往往需要足够多的样本才能训练出足够好的模型，并且利用猫狗训练出来的分类器，就只能对猫狗进行分类，其他的物种它都无法识别。
AI绘画：使用Stable Diffusion ComfyUI进行换脸：IPAdapter FaceID全面教程
最新发布
04-03 2085
在数字艺术和媒体编辑领域，换脸技术已经成为一种流行且强大的工具。它允许创作者将一个人物的面部特征无缝地转移到另一个人物上，创造出令人信服的视觉作品。Stable Diffusion ComfyUI提供了一个高效的平台，让用户能够轻松地实现换脸。本文将详细介绍如何使用ComfyUI中的IPAdapter FaceID插件进行换脸，从安装到实际操作，一步步引导你完成整个过程。
多模态模型学习1——CLIP对比学习 语言-图像预训练模型
Bubbliiiing的学习小课堂
04-05 2万+
学了一些多模态的知识，CLIP算是其中最重要也是最通用的一环，一起来看一下吧。CLIP的全称是Contrastive Language-Image Pre-Training，中文是对比语言-图像预训练，是一个预训练模型，简称为CLIP。该模型是 OpenAI 在 2021 年发布的，最初用于匹配图像和文本的预训练神经网络模型，这个任务在多模态领域比较常见，可以用于文本图像检索，CLIP是近年来在多模态研究领域的经典之作。该模型大量的成对互联网数据进行预训练，在很多任务表现上达到了目前最佳表现（SOTA）
深度学习系列37：CLIP模型
热门推荐
kittyzc的博客
06-07 2万+
含义：CLIP（Contrastive Language-Image Pre-training） git地址：https://github.com/openai/CLIP paper：https://arxiv.org/abs/2103.00020 安装：pip install git+https://github.com/openai/CLIP.git
【计算机视觉】使用 notebook 展示如何下载和运行 CLIP models，计算图片和文本相似度，实现 zero-shot 图片分类
wzk4869的博客
06-09 3884
【计算机视觉】使用 notebook 展示如何下载和运行 CLIP models，计算图片和文本相似度，实现 zero-shot 图片分类
CLIP模型
bblingbbling的博客
03-06 1046
RN101:RN50X4:RN50X16:RN50X64VB32:VB16:VL14:
CLIP跨语言多模态模型 pytorch下安装
MISS_XDY的博客
03-25 7150
github地址 GitHub - openai/CLIP: Contrastive Language-Image Pretraining​​​​​​​ 创建python环境 conda create -n CLIP python=3.8 安装pytorch和torchvision conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=11.0 下载包：ftfy regex tqdm 和CLIP pip
FaceVid2Vid预训练模型-PARTA
07-20
该模型文件是 FaceVid2Vid模型的预训练好的模型 * 论文地址：One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing * 代码地址：https://github.com/zhanglonghao1992/One-Shot_Free-View_Neural_Talking_Head_Synthesis * 原始模型下载地址：[model: Vox-256-New train set:VoxCeleb-v1](https://www.mediafire.com/folder/fcvtkn21j57bb/ * 使用方式：（1）下载parta, partb, partc三部分文件 （2）合并文件并解压：cat 00000189-checkpoint.pth.tar.parta* | tar -xv
全部的EDVR预训练模型
11-23
EDVR 超分辨率，GitHub上代码没有预训练模型。这里提供了官方全部的。----------------------------------------------------------------------------
FaceVid2Vid预训练模型-PARTB
07-20
该模型文件是 FaceVid2Vid模型的预训练好的模型 * 论文地址：One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing * 代码地址：https://github.com/zhanglonghao1992/One-Shot_Free-View_Neural_Talking_Head_Synthesis * 原始模型下载地址：[model: Vox-256-New train set:VoxCeleb-v1](https://www.mediafire.com/folder/fcvtkn21j57bb/ * 使用方式：（1）下载parta, partb, partc三部分文件 （2）合并文件并解压：cat 00000189-checkpoint.pth.tar.parta* | tar -xv
clip_len_64frame_sample_rate_1_checkpoint_19.pth.tar
04-15
在 ICCV 2019 上，FAIR 推出了视频理解代码库：PySlowFast。 PySlowfast是一个基于PyTorch的代码库， 让研究者可以轻而易举的复现从基础至前沿的视频识别(Video Classification)和行为检测(Action Detection)算法。 不但如此，PySlowFast代码库同时开源了大量预训练模型(pretrain models)，让研究者省去了反复训练模型的烦恼，可以直接使用FAIR预训练的前沿(cutting edge performance)模型。 自开源后，PySlowFast就一度蝉联GitHub趋势榜前十。 根据其研讨会提供的教程和其开源代码库的信息，PySlowFast不但可以提供视频理解的基线（baseline）模型，还能提供当今前沿的视频理解算法复现。 其算法不单单囊括视频分类（video classification），同时也包括行为检测（Action Classification）算法。与当今开源社区中各种视频识别库复现出参差不齐的性能相比，使用PySlowFast可轻而易举的复现出当今前沿的模型。 这个模型是我在本机训练的。
中文预训练ALBERT模型.zip
07-01
中文语料上预训练ALBERT模型：参数更少，效果更好。预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准、 一键运行10个数据集、9个基线模型、不同任务上模型效果的详细对比，见中文语言理解基准测评 ...
python安装CLIP包，出现错误；安装.git时出现错误
m0_63092821的博客
04-18 3693
安装clip 时，需要通过下载clip.git进行安装，命令为：pip install git+https://github.com/openai/CLIP.git其中后面网址是我们需要下载的包网址，这里CLIP网址为https://github.com/openai/CLIP一般会出现如下错误： 原因分析： 解决方案： 1、我们先将CLIP文件夹下载到本地电脑，随便什么位置。即点击下图中的Download ZIP，下载到本地后进行解压，即得到文件夹CLIP-main，保存位置没有讲究。
多模态表征—CLIP及中文版Chinese-CLIP：理论讲解、代码微调与论文阅读
小小帅
02-26 5039
1.讲解CLIP的主要内容；2.讲解Chinese-CLIP的主要内容；3.CLIP/Chinese-CLIP代码微调；4.CLIP/Chinese-CLIP论文重点阅读
给出对CLIP预训练模型知识蒸馏的训练代码，要求有kl_div loss和soft loss和hard loss，只给出训练代码即可，重点体现soft loss和hard loss
05-27
以下是一个基于PyTorch的CLIP知识蒸馏训练代码，包括KL散度loss、soft loss和hard loss： ```python import torch import torch.nn.functional as F from torch.utils.data import DataLoader from torchvision.datasets import CIFAR10 from torchvision.transforms import Compose, ToTensor, Normalize from models import StudentModel, TeacherModel def kl_div_loss(p, q): """ KL散度loss """ return F.kl_div(F.log_softmax(p, dim=1), F.softmax(q, dim=1), reduction='batchmean') def soft_loss(p, q, t=3): """ soft loss """ return F.kl_div(F.log_softmax(p/t, dim=1), F.softmax(q/t, dim=1), reduction='batchmean') * t * t def hard_loss(p, q): """ hard loss """ return F.cross_entropy(p, q) def train(): # 加载数据 transform = Compose([ToTensor(), Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) dataset = CIFAR10('./data', train=True, download=True, transform=transform) dataloader = DataLoader(dataset, batch_size=128, shuffle=True, num_workers=4, pin_memory=True) # 加载模型 teacher = TeacherModel() student = StudentModel() # 设置优化器 teacher_optimizer = torch.optim.Adam(teacher.parameters(), lr=0.001) student_optimizer = torch.optim.Adam(student.parameters(), lr=0.001) # 设置温度 t = 3 # 训练 for epoch in range(10): for i, (images, labels) in enumerate(dataloader): # 前向传播 teacher_outputs = teacher(images) student_outputs = student(images) # 计算loss kl_loss = kl_div_loss(student_outputs, teacher_outputs.detach()) soft_loss = soft_loss(student_outputs, teacher_outputs.detach(), t) hard_loss = hard_loss(student_outputs, labels) total_loss = kl_loss + soft_loss + hard_loss # 反向传播 teacher_optimizer.zero_grad() student_optimizer.zero_grad() total_loss.backward() teacher_optimizer.step() student_optimizer.step() # 打印结果 if (i+1) % 100 == 0: print(f'Epoch [{epoch+1}/10], Step [{i+1}/391], Loss: {total_loss.item():.4f}') # 降低温度 t *= 0.9 # 保存模型 torch.save(student.state_dict(), 'student.pth') ``` 在上面的代码中，`kl_div_loss()`函数计算KL散度loss，`soft_loss()`函数计算soft loss，`hard_loss()`函数计算hard loss。在训练过程中，我们使用了这三种loss的加权和作为总的loss进行反向传播。同时，我们还使用了不同的温度t来控制soft loss的权重，以达到更好的效果。最终，我们保存了训练好的student模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值