错误：CUDA error: device-side assert triggered CUDA kernel errors

最新推荐文章于 2024-03-04 21:36:37 发布
最新推荐文章于 2024-03-04 21:36:37 发布
阅读量160 收藏
点赞数
分类专栏： bug解决 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48030475/article/details/134434703
版权
文章讲述了在使用LLAMA进行中文词表扩充后的增量预训练时遇到的错误，主要原因是未正确设置`--modules_to_save`参数，导致embed_tokens和lm_head的向量维度不匹配。解决方法是检查并确保所有模块的维度一致性。
摘要由CSDN通过智能技术生成

对llama扩充中文词表后直接增量预训练，忘记设置--modules_to_save embed_tokens,lm_head,所以导致向量维度不一致，出现下面的错误。

1. 错误

在这里插入图片描述

2. 原因

出现这个错误的原因可能是因为维度或标签不一致。可以仔细排查一下。

hj_caas
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Bug小能手系列(python)_13: RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might
走在深度学习前沿的小宋
10-30 7879
RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. 报错解决方案
CUDA error: device-side assert triggered
牛肉胡辣汤
11-27 5213
主机端代码是在主机CPU上执行的代码，负责处理与设备通信，控制设备的启动和停止，以及执行设备端代码的主要逻辑。例如，在CUDA中，可以使用cudaMalloc函数在设备上分配内存，使用cudaMemcpy函数进行主机和设备之间的数据传输，使用cudaFree函数释放设备内存。设备端代码能够利用GPU的并行性，处理多个数据元素同时进行计算，例如对一个数组中的多个元素进行相同的操作。总而言之，设备端是指在计算设备上执行的代码，通常用于利用GPU进行高并发的并行计算。本文将介绍这个错误的原因，以及如何解决它。
cuda error:device-side assert triggered【已解决】
qq_55285829的博客
03-04 726
深度学习项目遇见到的bug。
预训练模型微调时遇到，CUDA error: device-side assert triggered
qq279699268的博客
05-23 1091
再接着翻发现是输入数据超出了tokenizer的编码范围，回去看一下编码的结果。要往字典里加字之类的。1.加入下面这段代码，会打印出比较完整的报错信息。网上的调整方法还挺多的，我一个一个试一下。加了但是没有打印出来。
【报错】CUDA error: device-side assert triggered
weixin_43301333的博客
12-09 3865
如torch.select等；或者输入的input_ids超出了模型embedding的词表范围。，比方说padding tokens、ending tokens。在某些情况下会比较实用。这种类型的报错，绝大多数情况下，都是因为tensor index的错误。，上述操作的一个好处就是可以把超出词表范围的那些ids。
解决RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors...CUDA_LAUNCH_BLOCKING=1
热门推荐
AI小白炼金术师
04-30 7万+
RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
CUDA ERROR: device-side assert triggered
weixin_43519985的博客
10-13 770
# device-side assert triggered operator(): block: [116,0,0], thread: [95,0,0] Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed. 在网上的很多资料都说这个问题是索引有问题 从报错行一行行向上check,发现确实存在索引出错的问题 在我的代码中，需要一个广播的功能 类似于，
cuda cuda error: device-side assert triggered
binqiang2wang
10-03 693
场景：我是使用jupyter notebook运行pytorch在cuda上跑的时候遇到的问题。 完美解决-RuntimeError: CUDA error: device-side assert triggered : 这里提到说是数目类别的问题，比如四类分类，理论上标签one-hot最大值是3，出现了4就会报这个错误。 上面的本质说法和记录一个error–CUDA error: device-side assert triggered是一样的：就是一个检索越界的问题。 我的问题和前面的都不一样，而且c
RuntimeError: CUDA error: device-side assert triggered报错
ruichuang2的博客
07-08 503
在加载数据的时候Dataloader()加上drop_last=True，就好了。这个报错，依次排除了是不是因为数据包含nan；
RuntimeError: cuda runtime error (59) : device-side assert triggered
qq_22821801的博客
05-14 1万+
Environment： Ubuntu，Pytorch1.0.1 运行程序时发现这个问题 Traceback (most recent call last): File "train_pytorch1.py", line 217, in <module> loss = F.cross_entropy(output, target) File "/usr/local...
cuda error：device-side assert triggered
月夜惹人醉的博客
07-31 2301
pytorch cnn训练的时候报了这个错误：CUDA error: device-side assert triggered 1、去除cuda ，使用cpu进行训练 2、会报另一个错误out of bounds 第二个错误表明了具体的原因：标签实际数量与CNN输出的数量不一致 ...
RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronous
最新发布
07-14
RuntimeError: CUDA error: device-side assert triggered通常是指在使用CUDA（Compute Unified Device Architecture）进行并行计算时遇到了错误，特别是在GPU上运行的Python代码中。CUDA设备侧的assert表示程序预期...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hj_caas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值