qwen-vl训练报错

最新推荐文章于 2024-07-26 13:24:37 发布
最新推荐文章于 2024-07-26 13:24:37 发布
阅读量150 收藏
点赞数 3
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wkk15903468980/article/details/137062734
版权

ValueError: Attempting to unscale FP16 gradients

训练标准的qwen-vl出现奇奇怪怪的报错，不一定是错误本身，大概率是transformers和peft库的版本问题，挨个降低版本。这里给个参考：transformers==4.36.1  peft==0.4.0

wkk15903468980
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Qwen-VL本地化部署及微调实践
weixin_44455388的博客
02-23 3515
我这里因为资源有限，选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置，其中主要修改标红部分，其他参数自己设当调整。，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。
Qwen-VL 远程GPU服务器部署实战
07-14
Qwen-VL 远程GPU服务器部署实战
[Lora][微调] Qwen-VL/Qwen-VL-chat微调问题
qq_16759959的博客
06-20 449
错误一参考github中issue253给出的意见，修改下的相关内容。# visual.py 第18行# visual.py 第117行# visual.py 第132行错误二参考知乎魩雨给出的意见，还有一些其他报错可以参考，比如deepspeed等，这些暂时训练时还未遇到，若后期遇到进一步验证，修改下的相关内容。# visual.py 第192行。
通义千问Qwen-VL-Chat大模型本地部署（一）
liukangjie520的博客
07-08 1200
qwen-vl-chat本地运行和api接口调用
通义千问Qwen-VL-Chat大模型本地训练（二）
liukangjie520的博客
07-12 1130
人工智能大模型是一种能够利用大数据和神经网络来模拟人类思维和创造力的人工智能算法。它利用海量的数据和深度学习技术来理解、生成和预测新内容，通常情况下有数十亿乃至数百亿个参数，可以在不同的领域和任务中表现出智能拟人的效果。现在大模型火的不行，项目中如果没有大模型好像都缺少点啥？没办法要跟着时代进步，最近研究了一下开源的通义千问大模型，翻阅了大量文档，记录一下使用心得。我使用的是通义千问Qwen-VL-Chat多模态模型。
3090微调多模态模型Qwen-VL踩坑
weixin_41496173的博客
12-02 2441
3090Qwen-VL微调
微调qwen-VL报错ValueError: Unrecognized configuration class＜xxx＞to build an AutoTokenizer
weixin_51074012的博客
07-02 441
在微调qwen-vl的时候，微调完成之后，模型也保存好了，但是用保存的模型进行推理的时候报错，看样子是找不到分词器tokenizer。
【AI】ubuntu 22.04 本地搭建Qwen-VL 支持图片识别的大语言模型 AI视觉 【3】Qwen-VL-Chat-Int4版本 + 4060ti 16G
hknaruto的专栏
04-09 1593
接上篇下载Qwen-VL-Chat-Int4版本模型这个版本模型体积小不少2060 6G 仍然不能启动web尝试参考模型中的README.md编写使用量化的代码test.py启动报错这个脚本的依赖与requirements.txt有一定差异参考文档手动安装故障依旧AI分析然而，根据之前的错误信息，对象似乎缺乏方法，导致在尝试从预训练模型加载时抛出了异常。这可能意味着在您当前安装的版本中，对于如何与配合进行模型量化加载有所变更，或者。
Qwen-14B
whaosoft143ai的博客
09-27 1126
同时，为了让模型更好地学会调用工具、增强记忆能力，团队也在微调样本上进行了优化，建立更全面的自动评估基准来发现Qwen-14B表现不稳定的情況，并针对性地使用Self-Instruct方法扩充了高质量的微调样本。Qwen-VL基于Qwen-7B为基座语言模型研发，支持图像、文本、检测框等多种输入，并且在文本之外，也支持检测框输出。在整体架构上，团队借鉴了一些当前开源大模型的“神奇设计”，包括谷歌的PaLM以及Meta的Llama等。据了解，Qwen-14B和Qwen-7B一样，所具备的也不仅仅是对话功能。
T repo of Qwen-VL (通义千问-VL) chat & pretrained large vision
02-07
在“Qwen-VL_master.zip”压缩包中，我们期望找到的文件可能包括模型的权重文件、源代码、配置文件、示例数据集以及用于加载、交互和评估模型的脚本。"说明.txt"文件应该包含了如何解压、安装依赖、运行代码和使用...
The official repo of Qwen-VL (通义千问-VL) chat & pretrained large v
02-06
The official repo of Qwen-VL (通义千问-VL) chat & pretrained large vision language model proposed by Alibaba Cloud
可以成功Lora微调的Qwen-VL模型.zip
最新发布
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果...
langchain-chatchat在window上使用cpu运行Qwen-1-8B-Chat时遇到ERROR: object
04-26
langchain-chatchat在window上使用cpu运行Qwen-1_8B-Chat时遇到ERROR: object of type ‘NoneType‘ has no len()，这个问题其实是因为"addmm_impl_cpu_" not implemented for 'Half’这个根本原因导致的，也就是cpu...
LSTM详解总结
GDHBFTGGG的博客
07-25 357
LSTM（Long Short-Term Memory）是一种用于处理和预测时间序列数据的递归神经网络（RNN）的改进版本。其设计初衷是为了解决普通RNN在长序列训练中出现的梯度消失和梯度爆炸问题。以下是对LSTM的详细解释，包括原理、公式、功能、优势等。
零基础学习深度学习以及模块缝合总结
GDHBFTGGG的博客
07-25 698
零基础学习深度学习以及模块缝合总结
GPU驱动、CUDA 、cuDNN 和CUDA Toolkit之间的关系（深度学习小白必懂）
weixin_44115575的博客
07-23 1336
GPU驱动、CUDA、cuDNN和CUDA Toolkit之间有着紧密的关系，它们共同构成了一个完整的GPU编程和深度学习开发环境。 在最初配置anaconda环境时一直搞不明白它们之间的关系。所以根据自己的理解，通俗详细解释它们各自的角色和相互间的关系，并且列举了一些在anaconda虚拟环境中的例子。 不对的地方希望大家指正。
2024钉钉杯A题思路详解
全栈川川
07-26 1910
2024钉钉杯思路
常见的文心一言的指令
知码客
07-25 1761
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
Qwen-Audio-Chat微调
05-10
Qwen-Audio-Chat微调是基于Qwen音频AI技术的一种应用场景，它可以通过微调Qwen模型，实现特定领域的音频智能交互。例如，将Qwen-Audio-Chat微调到医疗领域，可以实现医生与患者之间的智能语音交互，帮助医生快速准确地诊断病情。在微调Qwen模型时，我们可以根据具体的应用场景来调整模型结构、训练数据和超参数等，以达到更好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值