RAM模型从数据准备到pretrain、finetune与推理全过程详细说明

最新推荐文章于 2024-04-27 00:30:00 发布
最新推荐文章于 2024-04-27 00:30:00 发布
阅读量901 收藏 5
点赞数 1
分类专栏： 语言模型-多模态大模型 文章标签： RAM 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38252409/article/details/134530753
版权

提示：RAM++模型：环境安装、数据准备与说明、模型推理、模型finetune、模型pretrain等

文章目录

前言

随着SAM模型分割一切大火之后，又有RAM模型识别一切，RAM模型由来可有三篇模型构成，TAG2TEXT为首篇将tag引入VL模型中，由tagging、generation、alignment分支构成，随后才是RAM模型，主要借助CLIP模型辅助与annotation处理trick，由tagging、generation分支构成，最后才是RAM++模型，该模型引入semantic concepts到图像tagging训练框架，RAM++模型能够利用图像-标签-文本三者之间的关系，整合image-text alignment 和 image-tagging 到一个统一的交互框架里。作者也将三个模型整合成一套代码，本文将介绍RAM++模型，主要内容包含环境安装、数据准备与说明、模型推理、模型finetune、模型pretrain等内容，并逐过程解读，也帮读者踩完所有坑，只要按照我我步骤将会实现RAM流畅运行。

TAG2TEXT论文链接：点击这里
RAM论文链接：点击这里
RAM++论文链接：点击这里
github官网链接：点击这里

一、环境安装

说实话，环境安装按照官网来，没有报什么错，可直接推理运行，但是训练可能会缺一些东西，后续将介绍，环境安装如下：

Install recognize-anything as a package:

pip install git+https://github.com/xinyu1205/recognize-anything.git

Or, for development, you may build from source

git clone https://github.com/xinyu1205/recognize-anything.git
cd recognize-anything
pip install -e .

二、数据准备与解读

1.数据下载

图像数据需要根据相应内容去下载，而数据标签下载可以去github代码官网链接，点击下面红框即可。当然你也可转到下面网页链接。
数据标签下载：https://huggingface.co/datasets/xinyu1205/recognize-anything-dataset-14m/tree/main
在这里插入图片描述
当进入标签页面如下:
在这里插入图片描述

2.数据标签内容解读

当你下载了标签后，你能发现标签实际是列表，列表中每个数据又是一个字典，包含image_path、caption、union_label_id、parse_label_id字典，以vg_ram.json标签举列，我们取第一个元素，如下图所示：
在这里插入图片描述
我们进一步展开该数据，你会重点发现parse_label_id是一个二维列表，每一行是对对应caption描述取的tag而union_label_id是一维列表，parse_label_id中tag都能在union_label_id找到，反之不行。如下图：
在这里插入图片描述

3.标签map内容解读

我们在上面可看到parse_label_id与union_label_id是数字，那么这些数字如何得到，必然有一个映射表，该表是ram_tag_list_4585_llm_tag_descriptions.json文件中，该文件也是一个列表，列表中每个元素是一个字典，该字典key就是tag，value是一个列表，是对key的描述，我查看value的列表有50个描述。其中该文件列表位置(索引)就代表key(tag)，这也是parse_label_id与union_label_id的数字。如下：

在这里插入图片描述

当然，RAM模型数据可以一个元素的一张图有多个描述如下左图，也可以多个元素表示同一张图，进行多个描述，如下：
在这里插入图片描述

三、finetune训练

1.微调训练命令

可看出训练使用finetune.py文件，参数配置是finetune.yaml文件，模型类型选择是ram_plus文件，如下：

python -m torch.distributed.run --nproc_per_node=8 finetune.py \   --model-type ram_plus \   --config ram/configs/finetune.yaml  \   --checkpoint outputs/ram_plus/checkpoint_04.pth \   --output-dir outputs/ram_plus_ft

我是直接运行finetune.py文件，使用远程链接方式运行的！

2.load载入参数问题

当执行微调命令时，我遇到yaml载入问题，如下图：
在这里插入图片描述
当然这个是个小问题，与环境相关，可能你们不会遇到，若遇到可尝试我的解决方法：
导入包ruamel.yaml，更改原有代码

config = yaml.load(open(args.config, 'r'), Loader=yaml.Loader)

为以下代码即可：

import ruamel.yaml  yaml = ruamel.yaml.YAML(typ='rt') config = yaml.load(open(args.config, 'r'))

注：该问题pretrain可能也会遇到。

3.权重载入

第二个问题，模型权重 模型权重载入需要修改，根据你的需求可修改权重路径，如下图： 我使用ram++，将model_clip, _ = clip.load("/home/notebook/data/group/huangxinyu/clip/ViT-B-16.pt")中的地址替换即可。

权重下载地址如下：

_MODELS = {     
"RN50":"https://openaipublic.azureedge.net/clip/models/afeb0e10f9e5a86da6080e35cf09123aca3b358a0c3e3b6c78a7b63bc04b6762/RN50.pt",     
"RN101":"https://openaipublic.azureedge.net/clip/models/8fa8567bab74a42d41c5915025a8e4538c3bdbe8804a470a72f30b0d94fab599/RN101.pt",     
"RN50x4":"https://openaipublic.azureedge.net/clip/models/7e526bd135e493cef0776de27d5f42653e6b4c8bf9e0f653bb11773263205fdd/RN50x4.pt",   
"RN50x16": "https://openaipublic.azureedge.net/clip/models/52378b407f34354e150460fe41077663dd5b39c54cd0bfd2b27167a4a06ec9aa/RN50x16.pt",   
"RN50x64": "https://openaipublic.azureedge.net/clip/models/be1cfb55d75a9666199fb2206c106743da0f6468c9d327f3e0d0a543a9919d9c/RN50x64.pt",   
"ViT-B/32": "https://openaipublic.azureedge.net/clip/models/40d365715913c9da98579312b702a82c18be219cc2a73407c4526f58eba950af/ViT-B-32.pt",    
"ViT-B/16": "https://openaipublic.azureedge.net/clip/models/5806e77cd80f8b59890b7e101eabd078d9fb84e6937f9e85e4ecb61988df416f/ViT-B-16.pt",     
"ViT-L/14": "https://openaipublic.azureedge.net/clip/models/b8cca3fd41ae0c99ba7e8951adf17d267cdb84cd88be6f7c2e0eca1737a03836/ViT-L-14.pt",   
"ViT-L/14@336px": "https://openaipublic.azureedge.net/clip/models/3035c92b350959924f9f00213499208652fc7ea050643e8b385c2dac08641f02/ViT-L-14-336px.pt", 
}

4.数据加载问题

需在finetune.yaml文件中设定image_path_root: “” 参数，使得该参数与下图image_path合并为图像绝对路径，我设定如下：

 image_path_root: "/home/Project/recognize-anything/datasets/train"

图像路径如下图所示：
在这里插入图片描述

5.设备不匹配报错

运行预训练命令依然会报错，如下：
在这里插入图片描述
该问题也是小问题，就是变量设备不匹配问题，在finetune.py文件，为image_tag变量指定设备，添加一句代码：

image_tag = image_tag.to(device,non_blocking=True)

修改后整体代码如下：

for i, (image, image_224, caption, image_tag, parse_tag) in enumerate(metric_logger.log_every(data_loader, 	  print_freq, header)):          
	optimizer.zero_grad()          
	batch_text_embed = build_text_embed(model_clip,caption)                  
	image = image.to(device,non_blocking=True)         
	image_224 = image_224.to(device,non_blocking=True)                  
	image_tag = image_tag.to(device,non_blocking=True)                  
	clip_image_feature = model_clip.encode_image(image_224)          
	loss_tag, loss_dis, loss_alignment = model(image, caption, image_tag, clip_image_feature, batch_text_embed)           
	loss = loss_tag + loss_dis + loss_alignment

6.运行结果

之后运行结果如下： 在这里插入图片描述

我们进一步可发现使用一张3090显卡，batch为20即可满负载，如下：
在这里插入图片描述
注：以上微调内容某些在训练时候遇到，按其修改即可！

四、pretrain预训练

1.预训练命令

可看出预训练使用pretrain.py文件，参数配置是pretrain.yaml文件，模型类型选择是ram_plus文件，如下：

python -m torch.distributed.run --nproc_per_node=8 pretrain.py \
  --model-type ram_plus \
  --config ram/configs/pretrain.yaml  \
  --output-dir outputs/ram_plus

2.swin_large_patch4_window12_384_22k.pth权重

a.下载

但你直接使用该命令时候，会报如下错误：
在这里插入图片描述

以上报错是因为缺失相应权重swin_large_patch4_window12_384_22k.pth，我们只需通过下面链接点击这里，获得如下图权重下载即可，如下：
在这里插入图片描述

b.权重加载修改

对应权重下载实际是pretrain.yaml参数设置的vit: 'swin_l'与image_size: 224共同决定，我们将其定位为config_swinl_224.json文件，如下图：
在这里插入图片描述
上面我们已知权重路径更改位置，我们将其下载权重绝对路径替换即可，如下代码示列：

{
{
    "ckpt": "绝对路径位置/swin_large_patch4_window12_384_22k.pth",
    "vision_width": 1536,
    "image_res": 224,
    "window_size": 7,
    "embed_dim": 192,
    "depths": [ 2, 2, 18, 2 ],
    "num_heads": [ 6, 12, 24, 48 ]
  }
  }

3.ram_plus_tag_embedding_class_4585_des_51.pth权重

a.下载

当你再次使用该命令时候，会报如下错误：
在这里插入图片描述

不要慌张，依然是权重问题，我们只需链接:点击这里，可在huggingface下载我们想要的权重文件。

b.权重加载修改

对应权重下载后有2种方法可实现权重正确加载，第一将下载权重放到指定路，第二将在源码ram_plus.py改成绝对路径，如下图：
在这里插入图片描述

4.变量设备匹配问题

当你很开心再次使用预训练命令时，会报如下错误(该错误在finetune也会出现)：
在这里插入图片描述
该问题也是小问题，就是变量设备不匹配问题，从上图报错地方可追述到ram_plus.py文件除了问题，实际决定该问题是在pretrain.py文件调用那里，主要是image_tag是一个传入参数未能给定device，我们在pretrain.py下面代码给定即可，我也建议在pretrain.py修改，而不要动报错地方修改，你只需添加image_tag = image_tag.to(device, non_blocking=True)指定设备，修改如下：

    for i, (image, caption, image_tag, parse_tag) in enumerate(metric_logger.log_every(data_loader, print_freq, header)):
        
        if epoch==0:
            warmup_lr_schedule(optimizer, i, config['warmup_steps'], config['warmup_lr'], config['init_lr'])
            
        optimizer.zero_grad()

        batch_text_embed = build_text_embed(model_clip,caption)
        
        image = image.to(device,non_blocking=True)

        image_tag = image_tag.to(device, non_blocking=True) #

5. 预训练成功显示

如出现下图表示预训练成功，如下：
在这里插入图片描述
我们进一步可发现使用一张3090显卡，batch为20即可满负载，如下：
在这里插入图片描述

五、数据加载源码简单解读

标签源码如下，可看到图像做了2次加工一次该模型本身使用image,一次为图像特征提取swin模型使用image_224,而caption为一句话（若为多句随机选择一句）,该句话直接通过clip的文本编码获得特征，image_tag 是union_label_id, parse_tag是parse_label_id，具体如下代码：


    def __getitem__(self, index):    
        
        ann = self.ann[index]   

        image_path_use = os.path.join(self.root, ann['image_path'])
        image = Image.open(image_path_use).convert('RGB')   
        image = self.transform(image)

        image_224 = Image.open(image_path_use).convert('RGB')  
        image_224 = self.transform_224(image_224)
        # image_tag 是union_label_id
        num = ann['union_label_id']
        image_tag = np.zeros([self.class_num])
        image_tag[num] = 1
        image_tag = torch.tensor(image_tag, dtype = torch.long)

        caption_index = np.random.randint(0, len(ann['caption']))  # 有的数据集有多个描述

        caption = pre_caption(ann['caption'][caption_index],30)
        # parse_tag是parse_label_id
        num = ann['parse_label_id'][caption_index]
        parse_tag = np.zeros([self.class_num])
        parse_tag[num] = 1
        parse_tag = torch.tensor(parse_tag, dtype = torch.long)

        return image, image_224, caption, image_tag, parse_tag

六、推理

推理可直接使用命令,指定权重我在pretrain已给出链接，可自行下载：

python batch_inference.py \   --model-type ram_plus \   --checkpoint pretrained/ram_plus_swin_large_14m.pth \   --dataset openimages_common_214 \   --output-dir outputs/ram_plus

当然，你也可以使用我的代码，我是将一个文件夹循环推理，并将推理结果打印于图上便于查看，如下：

'''
 * The Recognize Anything Plus Model (RAM++)
 * Written by Xinyu Huang
'''
import argparse
import os

import numpy as np
import random

import torch

from PIL import Image
from ram.models import ram_plus
from ram import inference_ram as inference
from ram import get_transform


parser = argparse.ArgumentParser(
    description='Tag2Text inferece for tagging and captioning')
parser.add_argument('--image',

                    help='path to dataset',
                    default='images/demo/demo1.jpg')
parser.add_argument('--pretrained',

                    help='path to pretrained model',
                    default='路径位置/ram_plus_swin_large_14m.pth')
parser.add_argument('--image-size',
                    default=384,
                    type=int,
                    metavar='N',
                    help='input image size (default: 448)')




import cv2
import numpy as np
from PIL import Image, ImageDraw, ImageFont

def cv2ImgAddText(img, text, left, top, textColor=(0, 255, 0), textSize=20):
    if (isinstance(img, np.ndarray)):  # 判断是否OpenCV图片类型
        img = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
    # 创建一个可以在给定图像上绘图的对象
    draw = ImageDraw.Draw(img)
    # 字体的格式
    fontStyle = ImageFont.truetype("/usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc", textSize, encoding="utf-8") 
    # 绘制文本
    draw.text((left, top), text, textColor, font=fontStyle)
    # 转换回OpenCV格式
    return cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2BGR)

def build_dir(out_dir):
    if not os.path.exists(out_dir):
        os.makedirs(out_dir,exist_ok=True)
    return out_dir


if __name__ == "__main__":

    args = parser.parse_args()

    device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

    transform = get_transform(image_size=args.image_size)

    #######load model
    model = ram_plus(pretrained=args.pretrained,
                             image_size=args.image_size,
                             vit='swin_l')
    model.eval()

    model = model.to(device)


    total = sum(p.numel() for p in model.parameters())  # 统计个数
    print("模型参数总量: %.2f million\t" % (total / 1e6), " 以float32模型内存占用:%.2f M" % (total * 4 / 1e6))

    
    
    # 下面是推理
    
    file_root='/推理文件路径/sam_test' # 这个是多个文件夹路径
    save_file_path=build_dir('runs')

    for file_name in os.listdir(file_root):
        save_path=os.path.join(save_file_path,file_name)
        img_root=os.path.join(file_root,file_name)
        for img_name in os.listdir(img_root):
            img_path=os.path.join(img_root,img_name)
            image = transform(Image.open(img_path)).unsqueeze(0).to(device)
            res = inference(image, model)
            # print("Image Tags: ", res[0])

            # print("图像标签: ", res[1])
            img = cv2.imread(img_path)
            N=int(len(res[1])/2)
            r1 = res[1][:N]
            r2 = res[1][N:]
            # r3 = res[1][2*N:]
            img = cv2ImgAddText(img, r1, 40, 50, textColor=(255, 0, 0), textSize=20)
            img = cv2ImgAddText(img, r2, 40, 200, textColor=(255, 0, 0), textSize=20)
            # img = cv2ImgAddText(img, r2, 40, 300, textColor=(255, 0, 0), textSize=40)

            build_dir(save_path)
            cv2.imwrite(os.path.join(save_path, img_name), img)
tangjunjun-owen
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
VLM 系列——RAM++（recognize anything++）—— 论文详解
TigerZ*的博客
11-27 978
本文详细介绍了RAM++ 《Open-Set Image Tagging with Multi-Grained Text Supervision》涉及到的模型结构、数据清洗、训练细节以及对应的消融实验。
YOLOv5源码逐行超详细注释与解读（3）——训练部分train.py
路人贾的博客
03-11 2万+
全网最详细的YOLOv5项目源码解读之训练部分train. py。全文近5万字！代码逐行注释，逐段讲解，小白入门必备！
RAM模型
whaosoft143ai的博客
05-02 648
为了解决该问题，获胜团队采用了去噪训练，其中将嘈杂的真实结果以快捷方式输入到解码器中，以学习相对偏移量，跳过匹配步骤，允许直接学习方法，有效地克服了匹配抖动带来的挑战。该模型由同学利用闲暇时间合作开发。其中，匈牙利匹配器用于将预测的三元组与 ground truth 三元组进行比较，然后优化目标最大化匹配器计算的成本，并使用交叉熵进行分类损失，使用 DICE/F-1 计算分割的损失。获胜团队解决了许多挑战，例如双阶段范式利用全局信息的方法、关系精度和概括性之间的冲突，以及轻量级双阶段范式的计算效率。
Grounding DINO、TAG2TEXT、RAM、RAM++论文解读
weixin_38252409的博客
12-09 863
随着SAM模型分割一切大火之后，又有RAM模型识别一切，RAM模型由来可有三篇模型构成，TAG2TEXT为首篇将tag引入VL模型中，由tagging、generation、alignment分支构成，随后才是RAM模型，主要借助CLIP模型辅助与annotation处理trick，由tagging、generation分支构成，最后才是RAM++模型，该模型引入semantic concepts到图像tagging训练框架，RAM++模型能够利用图像-标签-文本三者之间的关系，整合image-text a
模仿学习的集中爆发：从Dobb·E、Gello到斯坦福Mobile ALOHA/UMI、FMB、DexCap
结构之法 算法之道
01-07 6606
且一年前，因为对ChatGPT背后技术原理巨大的「好奇心」，加之极高的「分享热情」、以及想写一篇关于其原理最全面 最深入 最细致文章的「决心」，彻底改变了过去一年的轨迹​博客证明了技术研究能力，课程证明了教学教研能力，项目证明了带队开发能力说干就干。
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 6万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）
qq_56591814的博客
06-18 1万+
本文介绍了一些LLMs基础模型和微调模型，例如GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca
目标检测YOLO实战应用案例100讲-基于深度学习目标检测的白细胞分类技术研究（续）
qq_36130719的博客
04-27 55
对于目标检测框架来说，两级模型在准确率方面性能更佳，但网络架构较为 复杂，检测速度较慢；单级模型更为轻量，可以结合小型化便携式设备实现实时 检测。本文拟采用两级模型中基于ResNet50和Inceptionv2骨干的Faster-RCNN 网络以及单级模型中的Yolov4和MobileNetv2-SSD网络在构建好的BCCD数据 集上进行训练和测试，并对它们的整体性能进行评估和对比。 Faster-RCNN摒弃了传统的选择性搜索和滑动窗口算法，将区域提案网络 （Region Proposal Netwo
【YOLO-V3-SPP 源码解读】四、训练模块
qq_38253797的博客
06-21 3598
Compute_loss 代码入口： train_eval_body.py # pred: tensor格式 list列表 存放三个tensor 对应的是三个yolo层的输出 # 例如[batch_size, 3, 23, 23, 25] [batch_size, 3, 46, 46, 25] [batch_size, 3, 96, 96, 25] # [batch_size, anchor_num, grid_h, grid_w,
基于中文预训练字向量finetune的Bert与BiLSTM模型的网络
05-27
基于中文预训练字向量finetune的Bert与BiLSTM模型的网络 3 模型说明 共实现了BiLSTM, BiLSTMCRF, Bert, BertCRF, BertBiLSTMCRF Bert部分参考了pytorch_transformers，预训练模型为中文预训练BERT-wwm BiLSTM的预...
达观算法比赛ner任务源码+项目说明（从重新训练bert，到finetune预测）.zip
01-24
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和...达观算法比赛ner任务源码+项目说明（从重新训练bert，到finetune预测）.zip
finetune:NLP的Scikit学习风格模型微调
04-29
Finetune是一个库，允许用户利用最新的经过预训练的NLP模型来执行各种下游任务。 Finetune当前支持以下模型的TensorFlow实现： BERT ，摘自 RoBERTa ，摘自 GPT ，摘自 GPT2 ，来自 TextCNN ，摘自 时间卷积...
基于transformers+bert预训练模型在语义相似度任务上的finetune
03-22
基于transformers+bert预训练模型在语义相似度任务上的finetune
rasa-bert-finetune:支持rasa-nlu的bert finetune
03-17
介绍支持rasa json数据格式的bert finetune准备在训练finetune模型前需要先下载bert pre-train model，这里用的是中文的，可去官网下载chinese_L-12_H-768_A-12 。 json文件称为rasa_dataset_training.json ，dev的...
####这是一篇对python的详细解析
05-28
python
菜日常菜日常菜日常菜日常
05-28
菜日常菜日常菜日常菜日常
VB学生档案管理系统设计(源代码+论文).rar
05-28
计算机专业毕业设计VB精品论文资源
电商到底怎么做？淘系电商三维经营心法（59节课）-课程网盘链接提取码下载 .txt
05-28
课程内容： 10-经营常见4大循环-被资本绑架思维.mp4 11-落地中的47个坑-产品坑.mp4 12-落地中的47个坑-一把手坑.mp4 13-落地中的47个坑-迷信坑.mp4 14-落地中的47个坑-缺乏坑.mp4 15-落地中的47个坑-团队坑.mp4 16-电商经营常见导致的10种挂法.mp4 18-淘系电商干法介绍.mp4 19-淘系电商的特点.mp4 20-淘系买家购物场景.mp4 21-淘系干法-标品.mp4 22-淘系电商干法-半标品.mp4 23-答疑.mp4 25-3类7种常见“干法”模型.mp4 26-6类产品日常运营报表.mp4 27-6类产品日常运营报表-高客单价店铺.mp4 28-6类产品运营报表-低客单价.mp4 29-6类产品运营报表-爆款数据模型季节性商品.mp4 2-前言.mp4 30-6类产品日常运营-标品.mp4 31-6类产品日常运营报表-非标品.mp4 32-6类产品日常运营报表-全店客服.mp4 33-执行就是一条：运营公式.mp4 35-搜索算法逻辑.mp4 36-2024年词层分层“激
grpcio-1.63.0-cp312-cp312-linux_armv7l.whl
最新发布
05-28
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
解释以下clip模型finetune
03-20
Clip模型是一种基于对抗训练的神经网络模型，它可以通过对抗样本来提高模型的鲁棒性和泛化能力。Finetune是指在已经训练好的模型基础上，通过微调来适应新的任务或数据集。因此，Clip模型finetune就是在Clip模型的基础上，通过微调来适应新的任务或数据集。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tangjunjun-owen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值