如何从零训练多模态大模型（预训练方向）

于 2024-06-12 23:28:47 发布
阅读量1.6k 收藏 31
点赞数 13
分类专栏： NLP与大模型 文章标签： chatgpt embedding 算法 人工智能 大模型 预训练
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2201_75499313/article/details/139639051
版权

节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学.

针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

汇总合集：

《大模型面试宝典》(2024版) 发布！

本文介绍如何训练 LLaVA v1.5 多模态模型。

LLaVA 训练包括特征对齐阶段（feature alignment stage）和视觉指令微调阶段（visual instruction tuning stage），其中特征对齐阶段使用 LAION-CC-SBU 数据集的 558K 子集（记为 LLaVA-Pretrain），目的是训练 MLP connector（或称为 projector），而视觉指令微调阶段使用 GPT-4 生成的 150K 条多模态指令跟随数据和来自学术任务的 515K 条 VQA 数据引导 LLaVA 模型遵从多模态指令。

官方给出的 LLaVA v1.5 使用了 8 个 A100 GPU（80G）进行训练，如果我们没有 8 个 GPU 或者足够的显存（80G），可以减小per_device_train_batch_size的值并增大gradient_accumulation_steps，始终保证全局 batch size 不变，其中 batch size 的大小等于 per_device_train_batch_sizexgradient_accumulation_stepsxnum_gpus 。

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型算法岗技术与面试交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2040，备注：技术交流

用通俗易懂方式讲解系列

下面以 LLaVA-v1.5-13B 为例介绍 LLaVA 模型的训练。

特征对齐阶段

准备数据

下载 LLaVA-Pretrain[2] 数据集
# 将数据下载到 ./playground/data/LLaVA-Pretrain，否则需要修改启动脚本的 data_path 参数
huggingface-cli download --repo-type dataset liuhaotian/LLaVA-Pretrain --local-dir ./playground/data/LLaVA-Pretrain

LLaVA-Pretrain 包含 3 个文件：

  • blip_laion_cc_sbu_558k.json：此数据的构造过程是将 image-caption 数据添加随机选择的指令（例如：“Describe this image”）转换成多模态对话，下面是数据示例：
{
    'id': '004539375',
    'image': '00453/004539375.jpg',
    'conversations': [
      {
        'from': 'human',
        'value': 'Render a clear and concise summary of the photo.\n<image>'
      },
      {
        'from': 'gpt',
        'value': 'select luxury furniture 3 - inch gel memory foam mattress topper'
      }
    ]
  },
  • blip_laion_cc_sbu_558k_meta.json：包含 3 种元数据，分别是图像路径、图像 URL 和 blip_caption
{
    'id': '004539375',
    'image': '00453/004539375.jpg',
    'blip_caption': 'select luxury furniture 3 - inch gel memory foam mattress topper',
    'url': 'http://ec1.ostkcdn.com/images/products/8111140/P15459545.jpg'
  }
  • images.zip：LAION/CC/SBU 筛选后的子集
解压images.zip
# 解压到 ./playground/data/LLaVA-Pretrain/images，否则需要修改启动脚本的 image_folder 参数
unzip ./playground/data/LLaVA-Pretrain/images.zip -d ./playground/data/LLaVA-Pretrain/images

启动训练

在这个阶段，使用 8 个 A100（80G）训练 LLaVA-v1.5-13B 大约需要 5.5 小时。

启动的脚本是scripts/v1_5/pretrain.sh，它的内容如下：

#!/bin/bash
deepspeed llava/train/train_mem.py \
    --deepspeed ./scripts/zero2.json \  # 使用 DeepSpeed ZeRO-2
    --model_name_or_path lmsys/vicuna-13b-v1.5 \  # 语言模型是 lmsys/vicuna-13b-v1.5
    --version plain \
    --data_path ./playground/data/LLaVA-Pretrain/blip_laion_cc_sbu_558k.json \  # 训练样本文件
    --image_folder ./playground/data/LLaVA-Pretrain/images \  # 存放图像的目录
    --vision_tower openai/clip-vit-large-patch14-336 \  # 视觉编码器
    --mm_projector_type mlp2x_gelu \  # projector 的类型
    --tune_mm_mlp_adapter True \  # 是否训练 projector
    --mm_vision_select_layer -2 \
    --mm_use_im_start_end False \
    --mm_use_im_patch_token False \
    --bf16 True \
    --output_dir ./checkpoints/llava-v1.5-13b-pretrain \  # 保存的路径
    --num_train_epochs 1 \
    --per_device_train_batch_size 32 \
    --per_device_eval_batch_size 4 \
    --gradient_accumulation_steps 1 \
    --evaluation_strategy 'no' \
    --save_strategy 'steps' \
    --save_steps 24000 \
    --save_total_limit 1 \
    --learning_rate 1e-3 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type 'cosine' \
    --logging_steps 1 \
    --tf32 True \
    --model_max_length 2048 \
    --gradient_checkpointing True \
    --dataloader_num_workers 4 \
    --lazy_preprocess True \
    --report_to wandb

启动脚本：

sh ./scripts/v1_5/pretrain.sh

启动训练后，会自动下载语言模型视觉编码器的权重，完成权重的下载后会提示是否需要使用 wandb 可视化结果，这里按需选择即可。

图片

接下来就开始了训练，下面是 loss 的部分日志：

图片

训练完成后，权重会保存在./checkpoints/llava-v1.5-13b-pretrain目录。

视觉指令微调阶段

完成特征对齐阶段的训练后，我们进入视觉指令微调阶段。注意：如果我们跳过特征对齐阶段的训练，则需要将对应的 projector 下载到./checkpoints目录，下载的命令如下：

huggingface-cli download liuhaotian/llava-v1.5-mlp2x-336px-pretrain-vicuna-13b-v1.5 --local-dir ./checkpoints/llava-v1.5-13b-pretrain

准备数据

下载数据集
  • 下载 llava_v1_5_mix665k.json[3]
# 将数据下载到 ./playground/data/LLaVA-Instruct-150K
huggingface-cli download --repo-type dataset liuhaotian/LLaVA-Instruct-150K --local-dir ./playground/data/LLaVA-Instruct-150K
cp ./playground/data/LLaVA-Instruct-150K/llava_v1_5_mix665k.json ./playground/data/llava_v1_5_mix665k.json

下面是 llava_v1_5_mix665k.json 的示例：

{
    'id': '000000033471',  // 样本的唯一 id
    'image': 'coco/train2017/000000033471.jpg',  // 可以是绝对路径，也可以是相对于 image_folder 的路径
    'conversations': [
      {
        'from': 'human',
        'value': '<image>\nWhat are the colors of the bus in the image?'
      },
      {
        'from': 'gpt',
        'value': 'The bus in the image is white and red.'
      },
      {
        'from': 'human',
        'value': 'What feature can be seen on the back of the bus?'
      },
      {
        'from': 'gpt',
        'value': 'The back of the bus features an advertisement.'
      },
      {
        'from': 'human',
        'value': 'Is the bus driving down the street or pulled off to the side?'
      },
      {
        'from': 'gpt',
        'value': 'The bus is driving down the street, which is crowded with people and other vehicles.'
      }
    ]
  },
  • 下载 COCO train2017[4]
wget http://images.cocodataset.org/zips/train2017.zip -P ./playground/data/coco
unzip ./playground/data/coco/train2017.zip -d ./playground/data/coco
  • 下载 GQA images[5]
wget https://downloads.cs.stanford.edu/nlp/data/gqa/images.zip -P ./playground/data/gqa
unzip ./playground/data/gqa/images.zip -d ./playground/data/gqa
  • •下载 OCR-VQA[6] 将 OCR-VQA 中的 dataset.json 和 loadDataset.py 文件下载到 ./playground/data/ocr_vqa 目录。注释 loadDataset.py 中的 pdb.set_trace()后执行下面的命令：
cd ./playground/data/ocr_vqa
python loadDataset.py
# 回到 LLaVA 目录
cd ../../../

使用下面的代码处理 OCR-VQA 图像的后缀问题[7]：

import json
import os

with open('./playground/data/llava_v1_5_mix665k.json') as f:
    samples = json.load(f)

for sample in samples:
    if 'image' not in sample:
        continue

    img_path = os.path.join('./playground/data', sample['image'])
    if not os.path.exists(img_path):
        # 处理 OCR-VQA 图像后缀和 llava_v1_5_mix665k.json 中的后缀不一致问题
        img_path_wo_ext = os.path.splitext(img_path)[0]
        for ext in ['.png', '.gif']:
            real_path = img_path_wo_ext + ext
            if os.path.exists(real_path):
                # 重命名
                os.replace(real_path, img_path)
                break

也可以参考 https://github.com/haotian-liu/LLaVA/pull/1458 给出的路径下载 ORC-VQA 数据。

  • 下载 TextVQA[8]
wget https://dl.fbaipublicfiles.com/textvqa/images/train_val_images.zip -P ./playground/data/textvqa
unzip ./playground/data/textvqa/train_val_images.zip -d ./playground/data/textvqa
  • 下载 VisualGenome part1[9] 和 part2[10]
wget https://cs.stanford.edu/people/rak248/VG_100K_2/images.zip -P ./playground/data/vg
wget https://cs.stanford.edu/people/rak248/VG_100K_2/images2.zip -P ./playground/data/vg
unzip ./playground/data/vg/images.zip -d ./playground/data/vg
unzip ./playground/data/vg/images2.zip -d ./playground/data/vg
数据集结构

完成数据集的下载后，检查数据集的目录结构是否和下面的一致：

├── coco
│   ├── train2017
│   │   ├── xxx.jpg
├── gqa
│   ├── images
│   │   ├── xxx.jpg
├── llava_v1_5_mix665k.json
├── ocr_vqa
│   ├── dataset.json
│   ├── images
│   │   ├── xxx.jpg
│   └── loadDataset.py
├── textvqa
│   ├── train_images
│   │   ├── xxx.jpg
│── vg
├── └── VG_100K
│   │   ├── xxx.jpg
├── │── VG_100K_2
│   │   ├── xxx.jpg

使用下面的代码检查数据目录结构：

import json
import os

with open('./playground/data/llava_v1_5_mix665k.json') as f:
    samples = json.load(f)

missing_cnt = 0  # 记录图像路径不存在的个数
for sample in samples:
    if 'image' not in sample:
        continue

    img_path = os.path.join('./playground/data', sample['image'])
    if not os.path.exists(img_path):
        missing_cnt += 1

print(missing_cnt)

如果 missing_cnt 为 0，则说明数据的目录结构是正确的。

启动训练

在启动训练前，请查看 https://github.com/haotian-liu/LLaVA/issues/1144 以避免训练结束后权重保存出错。

在这个阶段，使用 8 个 A100（80G）训练 LLaVA-v1.5-13B 大约需要 20 小时。启动的脚本是scripts/v1_5/finetune.sh，它的内容如下：

#!/bin/bash

deepspeed llava/train/train_mem.py \
    --deepspeed ./scripts/zero3.json \  # 使用 DeepSpeed ZeRO-3
    --model_name_or_path lmsys/vicuna-13b-v1.5 \
    --version v1 \
    --data_path ./playground/data/llava_v1_5_mix665k.json \  # 训练样本
    --image_folder ./playground/data \  # 存放图像的目录
    --vision_tower openai/clip-vit-large-patch14-336 \
    --pretrain_mm_mlp_adapter ./checkpoints/llava-v1.5-13b-pretrain/mm_projector.bin \
    --mm_projector_type mlp2x_gelu \  # projector 的类型
    --mm_vision_select_layer -2 \
    --mm_use_im_start_end False \
    --mm_use_im_patch_token False \
    --image_aspect_ratio pad \
    --group_by_modality_length True \
    --bf16 True \
    --output_dir ./checkpoints/llava-v1.5-13b \
    --num_train_epochs 1 \
    --per_device_train_batch_size 16 \
    --per_device_eval_batch_size 4 \
    --gradient_accumulation_steps 1 \
    --evaluation_strategy 'no' \
    --save_strategy 'steps' \
    --save_steps 50000 \
    --save_total_limit 1 \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type 'cosine' \
    --logging_steps 1 \
    --tf32 True \
    --model_max_length 2048 \
    --gradient_checkpointing True \
    --dataloader_num_workers 4 \
    --lazy_preprocess True \
    --report_to wandb

启动脚本：

sh ./scripts/v1_5/finetune.sh

启动训练后，会询问是否需要使用 wandb 可视化结果，这里按需选择即可。

图片

接下来就开始了训练，下面是 loss 的部分日志：

图片

训练完成后，权重会保存在./checkpoints/llava-v1.5-13b目录。注意：如果单卡显存不足 80G，可以使用 LoRA 微调脚本 finetune_lora.sh[11]。完成训练后，可以参考 LLaVA 评测[12]对模型的性能进行评测。

微调自定义数据集

参考 Finetune LLaVA on Custom Datasets[13]

将训练样本以列表的形式保存到 json 文件，其中每一个样本是一个字典，它至少包含三个字段：

  • id：全局唯一的字符串

  • image：图片的路径，可以是绝对路径，也可以是相对于image_folder的相对路径

  • conversations：人类和语言模型的对话

下面是一个示例：

[
  {
    'id': '997bb945-628d-4724-b370-b84de974a19f',
    'image': 'part-000001/997bb945-628d-4724-b370-b84de974a19f.jpg',
    'conversations': [
      {
        'from': 'human',
        'value': '<image>\nWrite a prompt for Stable Diffusion to generate this image.'
      },
      {
        'from': 'gpt',
        'value': 'a beautiful painting of chernobyl by nekro, pascal blanche, john harris, greg rutkowski, sin jong hun, moebius, simon stalenhag. in style of cg art. ray tracing. cel shading. hyper detailed. realistic. ue 5. maya. octane render. '
      },
    ]
  },
  ...
]

完成数据的处理后，修改 finetune.sh[14] 中的 data_path 参数（必须）以及其他想要调整的参数（可选，例如学习率）。

修改完成后，即可启动训练：

sh ./scripts/v1_5/finetune.sh

以上就是 LLaVA 的训练流程。

引用链接

[1] 官方教程: https://github.com/haotian-liu/LLaVA?tab=readme-ov-file#train
[2] LLaVA-Pretrain: https://huggingface.co/datasets/liuhaotian/LLaVA-Pretrain
[3] llava_v1_5_mix665k.json: https://huggingface.co/datasets/liuhaotian/LLaVA-Instruct-150K/blob/main/llava_v1_5_mix665k.json
[4] COCO train2017: http://images.cocodataset.org/zips/train2017.zip
[5] GQA images: https://downloads.cs.stanford.edu/nlp/data/gqa/images.zip
[6] OCR-VQA: https://drive.google.com/drive/folders/1_GYPY5UkUy7HIcR0zq3ZCFgeZN7BAfm_?usp=sharing
[7] OCR-VQA 图像的后缀问题: https://github.com/haotian-liu/LLaVA/issues/601
[8] TextVQA: https://dl.fbaipublicfiles.com/textvqa/images/train_val_images.zip
[9] part1: https://cs.stanford.edu/people/rak248/VG_100K_2/images.zip
[10] part2: https://cs.stanford.edu/people/rak248/VG_100K_2/images2.zip
[11] finetune_lora.sh: https://github.com/haotian-liu/LLaVA/blob/main/scripts/v1_5/finetune_lora.sh
[12] LLaVA 评测: https://github.com/haotian-liu/LLaVA?tab=readme-ov-file#evaluation
[13] Finetune LLaVA on Custom Datasets: https://github.com/haotian-liu/LLaVA/blob/main/docs/Finetune_Custom_Data.md
[14] finetune.sh: https://github.com/haotian-liu/LLaVA/blob/main/scripts/v1_5/finetune.sh

大模型与自然语言处理
关注
  • 13
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一站式解读多模态——Transformer、Embedding、主流模型与通用任务实战（上）
百度大脑
04-07 1026
本文章由飞桨星河社区开发者高宏伟贡献。高宏伟，飞桨开发者技术专家（PPDE），飞桨领航团团长，长期在自媒体领域分享AI技术知识，博客粉丝9w+，飞桨星河社区ID为GoAI 。分享分为上下两期，本期分享从多模态概念与意义、任务类型及数据集、发展关系及时间线和基础知识等方面介绍多模态。多模态概念与意义多模态学习（Multimodal learning）是机器学习的一个重要分支。模态（Modality）...
多模态大模型训练方法学习（笔记）
cc272018282的博客
04-16 1607
多模态大模型训练方法（学习）
大模型训练、多模态数据处理与融合
weixin_41888295的博客
05-17 363
随着人工智能技术的快速发展，大模型训练和多模态数据处理已经成为热门话题。本文将深入探讨这两个领域的理论和实践，旨在帮助读者更好地理解这些技术，并在实际应用中获得成功。
敲重点！最全大模型训练合集！
Kenji_Shinji的博客
06-24 1万+
如图所示，PS架构将计算节点分为server与worker，其中，worker用于执行网络模型的前向与反向计算。而server则对各个worker发回的梯度进行合并并更新模型参数，对深度学习模型参数中心化管理的方式，非常易于存储超大规模模型参数。但是随着模型网络越来越复杂，对算力要求越来越高，在数据量不变的情况下，单个GPU的计算时间是有差异的，并且网络带宽之间并不平衡，会存在部分GPU计算得比较快，部分GPU计算得比较慢。这个时候如果使用异步更新网络模型的参数，会导致优化器相关的参数更新出现错乱。而使用同
大语言模型的预训练[1]:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍
丨汀、的博客
07-17 4772
大语言模型的预训练[1]:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍
多模态预训练 + 自监督学习 + 下游任务介绍
Scabbards_的博客
07-26 1469
常见自监督学习，包含基于对比学习的视觉自监督算法和基于mask的视觉自监督算法，主要是概念；下游任务包括跨模态检索，zeroshot分类，Image Captioning，主要 指个北
高质量中文预训练模型&大模型&多模态模型&大语言模型集合
03-14
在当前的IT行业中，预训练模型是人工智能领域的一个重要研究方向，特别是在自然语言处理（NLP）领域。高质量的中文预训练模型对于提升中文文本的理解和生成能力具有至关重要的作用。"高质量中文预训练模型"是指经过...
deblurGAN V2预训练模型.zip
02-10
预训练模型是深度学习中的关键资源，它们已经在大规模数据集上进行了充分的训练，可以为开发者提供一个良好的起点，避免从零开始训练模型的时间和计算资源消耗。deblurGAN v2 的预训练模型包含了一整套经过优化的...
多模态大模型应用-本地化部署VQGAN+CLIP-不使用colab-附流程教程-优质大模型应用实战.zip
05-08
在当前的IT领域，多模态大模型的应用已经成为人工智能研究和开发的重要方向。VQGAN（Vector Quantized Generative Adversarial Networks）和CLIP（Contrastive Language-Image Pretraining）是两种在图像处理和自然...
基于语言模型的预训练技术研究综述
10-12
预训练技术的未来发展趋势可能包括更智能的预训练策略、更小但性能优秀的模型、对多模态和跨语言任务的支持，以及模型的可解释性和伦理考虑。预训练技术将继续推动NLP领域的进步，为人工智能的广泛应用提供更加坚实...
【多模态大模型综述】【中文精细翻译】Multimodal Foundation Models
09-25
它主要关注两大类研究方向：一是成熟的预训练多模态基础模型，主要涉及视觉理解（如图像识别和语义解析）和文本到图像生成；二是前沿的探索性研究，聚焦于构建统一的视觉模型、端到端训练多模态大型语言模型（LLMs）...
高效又稳定的ChatGPT大模型训练技巧总结，让训练事半功倍！
夕小瑶科技说
04-17 8327
文｜python前言近期，ChatGPT成为了全网热议的话题。ChatGPT是一种基于大规模语言模型技术（LLM， large language model）实现的人机对话工具。现在主流的大规模语言模型都采用Transformer网络，通过极大规模的数据进行自监督训练。但是，如何构建自监督训练数据？在基础的Transformer结构上，大家又做了哪些创新呢？为了保证训练过程高效且稳定，又有哪些黑科...
多模态模型学习策略
qq_35215756的博客
03-26 1148
多模态模型的学习策略
如何从零开始训练大模型
最新发布
xiangxueerfei的博客
05-17 905
现在大模型预训练，大家其实最关注的就是这个loss的收敛效果。这个时候，LR schedule的出现就是一个比较好的补充，能够补足优化器的一些问题。所以，你可以理解为，现在我们没有一个完美的油门，所以搞了俩油门，互相辅助。优化器是个老司机的油门，好用，但人类的经验是有局限性的，很容易陷入局部最优跑不出来。LR schedule像是一个全局的油门，定期更新，帮助老司机跳出局部最优。
多模态大模型技术演进及研究框架
u013250861的博客
03-22 2839
多模态表示包含两个或两个以上事物表现形式模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。Transformer颠覆传统模型，但限于单模态领域。
多模态预训练模型学习
qq_44609058的博客
03-19 3008
一、什么是预训练？ 目前随着数据量爆炸式的增长，靠人工去标注更多数据是非常昂贵，并且也不太现实的。因此预训练的方式就出现了，也逐渐成为了一种主流的方法。那到底什么是预训练呢？简单地说，预训练就是：“使用尽可能多的训练数据，从中提取出尽可能多的共性特征，从而能让模型对特定任务的学习负担变轻。” 预训练将学习分成了两步： 1）首先将大量低成本收集的训练数据放在一起，经过某种预训方法去学习其中的共性知识 ； 2）然后，再使用相关特定域的少量标注数据进行微调，模型就可以从共性知识出发，学习这些特定领域数据的
大模型训练——PEFT与LORA介绍
热门推荐
weixin_44826203的博客
03-29 4万+
本文针对大模型的低资源训练策略LORA的原理和代码实现进行了介绍。
大模型训练~数据并行
whaosoft143ai的博客
05-28 1242
1、在DP中，每个GPU上都拷贝一份完整的模型，每个GPU上处理batch的一部分数据，所有GPU算出来的梯度进行累加后，再传回各GPU用于更新参数2、DP多采用参数服务器这一编程框架，一般由若个计算Worker和1个梯度聚合Server组成。Server与每个Worker通讯，Worker间并不通讯。因此Server承担了系统所有的通讯压力。基于此DP常用于单机多卡场景。3、异步梯度更新是提升计算通讯比的一种方法，延迟更新的步数大小决定了模型的收敛速度。 whaosoft aiot http://143a
多模态大模型的训练过程
11-18
多模态大模型的训练过程可以分为以下几个步骤： 1.数据预处理：将不同模态的数据进行预处理，例如将图像数据进行裁剪、缩放等操作，将文本数据进行分词、编码等操作。 2.特征提取：对于每个模态的数据，使用不同的特征提取方法将其转换为特征向量。例如，对于图像数据可以使用卷积神经网络提取特征，对于文本数据可以使用词嵌入模型提取特征。 3.模态融合：将不同模态的特征向量进行融合，得到多模态特征向量。常用的融合方法包括拼接、加权平均等。 4.模型训练：使用多模态特征向量作为输入，训练多模态大模型。常用的模型包括多层感知机、卷积神经网络、循环神经网络等。 5.模型评估：使用测试集对训练好的模型进行评估，常用的评估指标包括准确率、召回率、F1值等。 6.模型优化：根据评估结果对模型进行优化，例如调整模型参数、增加训练数据等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值