qwen-vl训练报错

最新推荐文章于 2024-07-23 22:38:20 发布
最新推荐文章于 2024-07-23 22:38:20 发布
阅读量146 收藏
点赞数 3
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wkk15903468980/article/details/137062734
版权

ValueError: Attempting to unscale FP16 gradients

训练标准的qwen-vl出现奇奇怪怪的报错，不一定是错误本身，大概率是transformers和peft库的版本问题，挨个降低版本。这里给个参考：transformers==4.36.1  peft==0.4.0

wkk15903468980
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Qwen-VL本地化部署及微调实践
weixin_44455388的博客
02-23 3461
我这里因为资源有限，选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置，其中主要修改标红部分，其他参数自己设当调整。，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。
Qwen-VL 远程GPU服务器部署实战
07-14
Qwen-VL 远程GPU服务器部署实战
[Lora][微调] Qwen-VL/Qwen-VL-chat微调问题
qq_16759959的博客
06-20 409
错误一参考github中issue253给出的意见，修改下的相关内容。# visual.py 第18行# visual.py 第117行# visual.py 第132行错误二参考知乎魩雨给出的意见，还有一些其他报错可以参考，比如deepspeed等，这些暂时训练时还未遇到，若后期遇到进一步验证，修改下的相关内容。# visual.py 第192行。
通义千问Qwen-VL-Chat大模型本地部署（一）
liukangjie520的博客
07-08 1093
qwen-vl-chat本地运行和api接口调用
T repo of Qwen-VL (通义千问-VL) chat & pretrained large vision
02-07
在“Qwen-VL_master.zip”压缩包中，我们期望找到的文件可能包括模型的权重文件、源代码、配置文件、示例数据集以及用于加载、交互和评估模型的脚本。"说明.txt"文件应该包含了如何解压、安装依赖、运行代码和使用...
The official repo of Qwen-VL (通义千问-VL) chat & pretrained large v
02-06
The official repo of Qwen-VL (通义千问-VL) chat & pretrained large vision language model proposed by Alibaba Cloud
可以成功Lora微调的Qwen-VL模型.zip
最新发布
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果...
langchain-chatchat在window上使用cpu运行Qwen-1-8B-Chat时遇到ERROR: object
04-26
langchain-chatchat在window上使用cpu运行Qwen-1_8B-Chat时遇到ERROR: object of type ‘NoneType‘ has no len()，这个问题其实是因为"addmm_impl_cpu_" not implemented for 'Half’这个根本原因导致的，也就是cpu...
基于深度学习的草莓成熟度实时检测系统（UI界面+YOLOv8/v7/v6/v5模型+完整代码与数据集）
a871923942的博客
07-22 507
使用YOLO模型进行草莓成熟度检测。构建一个简单的用户界面，允许用户上传草莓图片，并显示检测结果。提供完整的代码示例和训练数据集。目录1. 引言2. 项目概述3. 环境配置4. 数据集准备5. 模型训练6. 构建UI界面7. 部署与测试8. 结论与声明。
**卷积神经网络典型CNN**
HP2LF的博客
07-23 1145
SeNet(Squeeze-and-Excitation Networks)是ImageNet 2017年分类任务冠军，核心思想是：Squeeze(挤压、压缩)和Excitation(激励)两个操作，其主要目的是通过显示的构建特征通道之间的相互依赖关系，采用特征重定向的策略，通过学习的方式自动的获取每个特征通道的重要程度，然后依据***这个重要程度去提升有用的特征，并抑制对于当前任务用处不大的特征。Squeeze特征压缩操作，将每个feature map的特征数据使用全局平均池化操作转换为一个数值(实数)，
智能路面裂缝检测：基于YOLO和深度学习的全流程实现
a871923942的博客
07-23 456
引言路面裂缝检测是维护道路质量和延长道路寿命的重要手段。传统的检测方法往往费时费力且易受人为因素影响。为了提高检测效率和准确性，本文介绍了一种基于深度学习的路面裂缝检测系统。该系统包括用户界面，利用YOLO（You Only Look Once）v8/v7/v6/v5模型进行路面裂缝检测，并提供了完整的实现步骤和详细代码。
长短期记忆网络（LSTM）及其Python和MATLAB实现
qq_45441438的博客
07-22 817
3. 输入门计算：输入门的计算包括两部分，一部分是将上一个时间步的隐藏状态与当前时间步的输入特征拼接后通过两个全连接层分别计算出sigmoid 激活函数和 tanh 激活函数的输出，另一部分是将这两个输出相乘后输出输入门的值。2. 遗忘门计算：遗忘门的计算包括两部分，一部分是将上一个时间步的隐藏状态与当前时间步的输入特征拼接后通过一个全连接层得到一个向量，另一部分是经过一个 sigmoid 激活函数后输出遗忘门的值。6. 更新隐藏状态：根据记忆单元状态和输出门的值计算出下一个时间步的隐藏状态。
【香橙派开发板测试】：在黑科技Orange Pi AIpro部署YOLOv8深度学习纤维分割检测模型
慕溪同学的博客
07-20 917
为AI而生”深圳市迅龙软件有限公司成立于2005年，是全球领先的开源硬件、开源软件及智能产品品牌商，致力于让全世界每个极客、创客、电子爱好者享用来自中国的优质、低价的开源产品及智能产品，拓展无限可能，通过大规模的社会化协作去创建一个更加美好的信息化人类文明。目前迅龙业务遍及美国、英国、意大利、俄罗斯、日本、南非、东南亚等100多个国家和地区。香橙派的Orange Pi AIpro是一款专为人工智能（AI）应用开发设计的高性能开发板。
双向门控循环神经网络（BiGRU）及其Python和MATLAB实现
qq_45441438的博客
07-23 947
BiGRU模型是在GRU的基础上进行改进和扩展得到的，它包括两个方向的GRU层：一个从头到尾的正向层和一个从尾到头的反向层。这样，BiGRU模型可以同时捕捉序列数据中的正向和反向信息，从而更好地理解数据中的模式和规律。BiGRU模型的隐藏层和输出层之间还可以加入更多的全连接层，使模型能够更充分地学习数据中的特征和结构。它是基于GRU（Gated Recurrent Unit）模型的改进版本，通过引入更多的隐藏层和增加网络的宽度，能够更好地捕捉复杂的序列数据中的模式。
利用深度学习模型BiLSTM进行数据预测和分析
qq_45441438的博客
07-23 439
data = pd.read_excel('cc-只含滞后-PL8U-裂缝-EN2.xlsx').iloc[0:, 1:]
Passing output of 3DCNN layer to LSTM layer
suiusoar
07-23 878
将3DCNN（三维卷积神经网络）层的输出传递给LSTM（长短期记忆网络）层
【深度学习】LDA线性判别分析
qq_73301283的博客
07-23 1097
本文章描述了LDA线性判别分析的问题以及解决，主要根据定义，结合类间类内散度矩阵Sb，Sw求得目标函数，转化为广义瑞利商或者最大广义特征值求解，求解办法为拉格朗日乘子法
Qwen-Audio-Chat微调
05-10
Qwen-Audio-Chat微调是基于Qwen音频AI技术的一种应用场景，它可以通过微调Qwen模型，实现特定领域的音频智能交互。例如，将Qwen-Audio-Chat微调到医疗领域，可以实现医生与患者之间的智能语音交互，帮助医生快速准确...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值