书生大模型实战营-InternVL 多模态模型部署微调实践

最新推荐文章于 2024-11-05 15:28:12 发布
最新推荐文章于 2024-11-05 15:28:12 发布
阅读量243 收藏
点赞数 1
文章标签： python github
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63652204/article/details/141705041
版权

任务是训练模型讲出梗图

1.配置环境 准备InternVL模型

2.准备数据集 这里使用的数据集是huggingface上的zhongshsh/CLoT-Oogiri-GO数据集

3.查看微调前的推理结果

4.配置微调参数，开始微调

5.查看微调效果 对应照片的照片在效果下面

这关微调需要六七个小时 具体的教程链接在下面

Tutorial/docs/L2/InternVL/joke_readme.md at camp3 · InternLM/Tutorial (github.com)

晚风809
关注
大模型部署-在V100上部署InternVL多模态大模型-附项目源码-优质项目实战.zip
08-20
大模型部署_在V100上部署InternVL多模态大模型_附项目源码_优质项目实战
多模态大模型微调-基于Lora对Qwen-VL多模态大模型进行微调-附项目源码+流程教程-优质项目实战.zip
10-16
多模态大模型微调_基于Lora对Qwen_VL多模态大模型进行微调_附项目源码+流程教程_优质项目实战
书生实战营-L2-InternVL 多模态模型部署微调实践
m0_52343470的博客
08-28 745
让我们一起修改XTuner下 InternVL的config，文件在： /root/InternLM/code/XTuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py。让我们打开数据集的一张图看看，我们选择jsonl里的第一条数据对应的图片。数据集我们从官网下载下来并进行去重，只保留中文数据等操作。并已在share里，我们一起从share里挪出数据集。该模型已在share文件夹下挂载好，现在让我们把移动出来。
书生大模型实战营-进阶关卡-4-InternVL 多模态模型部署微调实践
微风❤水墨
08-22 348
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现InternVL 模型总览。
书生大模型实战（从入门到进阶）L2-InternVL 多模态模型部署微调实践
m0_73672030的博客
09-27 705
本文是对书生大模型L2-InternVL 多模态模型部署微调实践部分的学习和实现
【书生大模型实战营第三期 | 进阶岛第4关-InternVL 多模态模型部署微调实践】
imath60的博客
08-20 424
本课程详细介绍了InternVL模型的微调和部署实践，InternVL是一种多模态深度学习模型，结合了视觉和语言模型，能够执行图文匹配和图像描述生成等任务。课程通过一个具体的案例，展示了如何使用XTuner和LMDeploy工具对InternVL模型进行微调，以生成冷笑话，并通过实践操作，展示了模型微调前后的效果对比。通过学习本课程，我对InternVL模型的微调和部署有了更深入的理解。课程不仅提供了详细的操作步骤，还通过实际案例展示了微调前后模型性能的显著提升。
第三期书生大模型实战营——InternVL 多模态模型部署微调
qq_63629606的博客
08-29 1030
一、任务介绍follow 教学文档和视频使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图.尝试使用LoRA，或调整xtuner的config，如LoRA rank，学习率。看模型Loss会如何变化，并记录调整后效果(选做，使用LoRA或调整config可以二选一)二、根据文档搭建环境三、使用InternVL 推理部署3.1、使用pipeline进行推理3.1.1、创建test_lmdeploy.py以及推理的图片3.1.2、推理结果。
书生大模型实战作业之InternVL 多模态模型部署微调实践
szzjoe的博客
09-27 147
1.未经过微调前InternVL对于这张梗图的描绘：
[书生实战营] InternVL 多模态模型部署微调实践
m0_52468897的博客
08-20 809
InternVL是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。模型总览如下：首先，输入的图片经过动态超分辨率模块，将输入的图片打散成不同的小块，之后，把小块送入到ViT模块里提取出相应的视觉特征，之后对视觉特征进行Pixel Shuffle，再进行MLP Projector模块，把视觉特征映射到大模型可以处理的特征上；最后，文本块通过Tokenizer编码之后也输入到大模型中。
书生大模型实战营 InternVL 多模态模型部署微调实践
m19735499476的博客
08-21 208
不说了，直接启动训练训练完辣！
书生大模型实战营闯关记录----第九关：InternVL 多模态模型部署微调实践
Ace_bb的博客
08-25 798
我们选定的任务是让InternVL-2B生成文生图提示词，这个任务需要VLM对图片有格式化的描述并输出。让我们来一起完成一个用VLM模型进行冷笑话生成，让你的模型说出很逗的冷笑话吧。在这里，我们微调InterenVL使用xtuner。部署InternVL使用lmdeploy。
大模型部署-在英伟达V100上部署InternVL多模态大模型-附项目源码+流程教程-优质项目实战.zip
10-15
大模型部署_在英伟达V100上部署InternVL多模态大模型_附项目源码+流程教程_优质项目实战
多模态大模型应用-本地化部署VQGAN+CLIP-不使用colab-附流程教程-优质大模型应用实战.zip
05-08
在当前的IT领域，多模态大模型的应用已经成为人工智能研究和开发的重要方向。VQGAN（Vector Quantized Generative Adversarial Networks）和CLIP（Contrastive Language-Image Pretraining）是两种在图像处理和自然...
自助餐剩余食品识别图像分割系统：教学内容全覆盖
sgcsdn99的博客
11-04 1359
数据集信息展示在本研究中，我们使用的数据集名为“9_5_Merged”，该数据集专门用于训练改进YOLOv8-seg的自助餐剩余食品识别图像分割系统。该数据集包含71个类别，涵盖了丰富多样的食品种类，旨在提高模型对不同类型剩余食品的识别和分割能力。通过对这些类别的细致划分，我们希望能够实现更高精度的图像分割，进而优化自助餐剩余食品的管理和利用。
【anaconda】使用记录
最新发布
zhuyan108的博客
11-05 286
window11 下安装anaconda。
探索 Python 的新天地：Helium 库揭秘
AIGC搞起
11-04 792
在自动化测试和网页交互的领域，Selenium 是一个强大的工具，但它的复杂性和陡峭的学习曲线让许多开发者望而却步。Helium库的出现，以其简洁的 API 和易用性，为 Python 开发者提供了一个新的选择。它不仅简化了 Selenium 的使用，还自带 WebDriver，减少了配置的复杂性。Helium 以其简洁的 API 和易用性，为 Python 开发者提供了一个强大的 Selenium 替代方案。它不仅减少了代码量，还简化了 WebDriver 的管理，使得自动化测试和网页交互变得更加容易。
01_IAR新建CC2530工程
nanxl1的博客
11-02 1040
由于很多Zigbee商家提供的教程未有从零建立CC2530工程的讲解，可能会导致后面的开发中出现一些琐碎的问题。本文将以**LED流水灯**为例，从0到1用**IAR**建立CC2530工程。
Python小游戏21——拼图小游戏
cxh666888_的博客
11-05 987
如果图像大小不同，你需要调整tile_size和图像缩放代码。初始化Pygame：使用pygame.init()来初始化Pygame库，这是使用Pygame进行任何游戏开发的第一步。更新屏幕：使用pygame.display.flip()或pygame.display.update()来更新屏幕显示。调整图像大小：使用pygame.transform.scale()来调整图像的大小，以适应拼图游戏的需求。设置屏幕尺寸：使用pygame.display.set_mode()来设置游戏的屏幕尺寸和模式。
cleanfid库的fid使用，及其使用CLIP模型clip_vit_b_32计算FID
百年孤独百年的博客
11-02 969
这篇博客详细介绍了如何使用 cleanfid 库计算 Fréchet Inception Distance (FID)，特别是利用 CLIP 模型 clip_vit_b_32 计算 FID 分数来评估生成图像的质量。内容涵盖了 FID 的概念和原理、cleanfid 库的安装与配置、从缓存中加载与手动加载模型的方法，以及解决可能遇到的依赖问题。通过这篇教程，可以掌握使用 cleanfid 库计算fid的完整流程，并能够解决服务器环境中遇到的联网与模型下载问题。
V100上实现InternVL多模态大模型部署与实战指南
资源摘要信息:"大模型部署-在V100上部署InternVL多模态大模型-附项目源码-优质项目实战.zip" 在当前的人工智能领域，大模型部署是一个复杂而关键的环节。本项目专注于如何在NVIDIA的V100 GPU上部署一个名为InternVL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值