【书生浦语】InternVL 微调实践闯关任务

最新推荐文章于 2024-09-16 16:34:53 发布
最新推荐文章于 2024-09-16 16:34:53 发布
阅读量209 收藏 4
点赞数 6
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/googteo/article/details/142107245
版权

InternVL 微调实践闯关任务

在这里插入图片描述

调整config

在这里插入图片描述
学习率变化：逐渐上升
在这里插入图片描述

合并权重&&模型转换

cd XTuner
transfer weights
python3 xtuner/configs/internvl/v1_5/convert_to_official.py xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py /root/InternLM/work_dir/internvl_ft_run_8_filter/iter_3000.pth /root/InternLM/InternVL2-2B/

推理

在这里插入图片描述

芷詩
关注
书生·浦语大模型 - 基础岛 - 第3关 书生浦语提示词工程实践
08-10
书生·浦语大模型 - 基础岛 - 第3关 书生浦语提示词工程实践
书生·浦语大模型第二课
03-04
根据提供的信息，“书生·浦语大模型第二课”似乎是指一次课程或者教学活动的内容，主要涉及“浦语大模型”的相关内容。虽然提供的信息较为有限，但从这些线索中，我们可以推测出这可能是一次关于自然语言处理（NLP...
【书生大模型实战】InternVL 微调实践闯关任务
cjy_colorful0806的博客
08-19 822
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。对于InternVL这个模型来说，它vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。对于视觉模块来说，它的特殊之处在Dynamic High Resolution。
【书生大模型实战营】InternVL 微调实践闯关任务
qq_41234663的博客
08-19 888
【书生大模型实战营】InternVL 微调实践闯关任务
书生大模型实战营3期 - 进阶岛 - 4 - InternVL 微调实践闯关任务
wocsdn111的博客
08-19 375
(1) 设置在线 kv cache int4/int8 量化以及kv cache缓存大小(参数：quant-policy、cache-max-entry-count)；(3) 以Gradio网页形式连接API服务器，输入以下命令，使用Gradio作为前端，启动网页；(2) W4A16 模型量化和部署，输入以下指令，执行量化工作(量化很慢)；(2) 以命令行形式连接API服务器，运行如下命令以启动命令行客户端；(3) W4A16 量化+ KV cache+KV cache 量化；(1) 启动API服务器；
书生大模型实战营闯关记录----第九关：InternVL 多模态模型部署微调实践
Ace_bb的博客
08-25 720
我们选定的任务是让InternVL-2B生成文生图提示词，这个任务需要VLM对图片有格式化的描述并输出。让我们来一起完成一个用VLM模型进行冷笑话生成，让你的模型说出很逗的冷笑话吧。在这里，我们微调InterenVL使用xtuner。部署InternVL使用lmdeploy。
书生大模型实战营（第三期闯关大挑战）- 进阶岛 第四关 InternVL 多模态模型部署微调实践
个人技术
08-22 591
本文章主要介绍了使用多模态模型InternVL2-2B进行模型的微调
[书生实战营] InternVL 多模态模型部署微调实践
m0_52468897的博客
08-20 727
InternVL是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。模型总览如下：首先，输入的图片经过动态超分辨率模块，将输入的图片打散成不同的小块，之后，把小块送入到ViT模块里提取出相应的视觉特征，之后对视觉特征进行Pixel Shuffle，再进行MLP Projector模块，把视觉特征映射到大模型可以处理的特征上；最后，文本块通过Tokenizer编码之后也输入到大模型中。
《书生大模型实战营第3期》进阶岛 第4关： InternVL 多模态模型部署微调实践
shiter编写程序的艺术
08-18 718
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。
书生·浦语 大模型实战营（第三期） 进阶岛 第 4关 InternVL 多模态模型部署微调实践
Pythonliu7的博客
08-25 908
是一种用于的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现对于InternVL这个模型来说，它vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。对于视觉模块来说，它的特殊之处在Dynamic High Resolution。
书生大模型实战营（第三期闯关大挑战）- L2-InternVL 多模态模型部署微调实践
qq_42816781的博客
08-24 134
https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/InternVL/joke_readme.md
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果...
书生大模型实战营第三关浦语提示词工程实践
08-09
书生大模型实战营第三关浦语提示词工程实践
RNN股票预测(Pytorch版)
最新发布
qq_52237775的博客
09-16 303
记录RNN实战
《深度学习》深度学习 框架、流程解析、动态展示及推导
wx_AHao1004Y的博客
09-12 1403
深度学习是一种基于人工神经网络架构进行机器学习的技术方法。它模拟人类大脑的神经网络结构和工作原理，通过多层次的神经元网络，对大量的输入数据进行处理和分析，从而实现对数据的自动学习和抽象表示，进而实现对复杂问题的解决和预测。 深度学习的核心是深度神经网络，它由多个隐藏层组成，每个隐藏层包含多个神经元节点。每个神经元节点都与上一层和下一层的神经元节点相连，通过对这些节点之间的连接权重进行调整，使得网络能够对输入数据进行有效的学习和表示。
【深度学习|PyTorch】基于 PyTorch 搭建 U-Net 深度学习语义分割模型——附代码及其解释！
985小水博的摸鱼日常
09-14 529
【深度学习|PyTorch】UNet学习笔记！
【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程
yangyu0515的博客
09-13 1402
【深度学习】【OnnxRuntime】【python】模型转化、环境搭建以及模型部署的详细教程
秃姐学AI系列之：实战Kaggle比赛：狗的品种识别（ImageNet Dogs）
m0_62415132的博客
09-11 860
在这里，我们选择预训练的ResNet-34模型，我们只需重复使用此模型的输出层（即提取的特征）的输入。然后，我们可以用一个可以训练的小型自定义输出网络替换原始输出层，例如堆叠两个完全连接的图层。因此，我们可以使用 微调中讨论的方法在完整ImageNet数据集上选择预训练的模型，然后使用该模型提取图像特征，以便将其输入到定制的小规模输出网络中。在计算损失之前，我们首先获取预训练模型的输出层的输入，即提取的特征。的处理一样，即从原始训练集中拆分验证集，然后将图像移动到按标签分组的子文件夹中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值