bert+crf代码RuntimeError CUDA error异常的原因以及解决方法

已于 2022-04-25 17:07:16 修改
阅读量577 收藏 1
点赞数 1
文章标签： 自然语言处理 人工智能 python 算法 知识图谱
于 2022-04-25 17:06:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/simon469660451/article/details/124290052
版权

本人在跑Bert+CRF代码时候遇到此问题：发生异常：RuntimeError CUDA error: device-side assert triggered
在这里插入图片描述

原因分析：

在debug过程中，代码在cuda无法查看具体出错的原因，这个时候我们需要将代码更改为在cpu运行（经过高人指点：cuda发生错误，都可以在cpu版本找到具体的错误原因）

解决方法

更改为cpu运行后，发现是因为标签越界了，更改正确即可

标签越界原因分析

我在文本补全时，将pad编号设置为-100（因为想要pad在交叉熵计算是失效）这个编号导致了错误发生。
经过实验，我发现通过pytroch-crf库调用的crf无法处理编号为负数的标签。事实上我们也无需设置特定的标签令它失效，因为只要将正确的attention_mask传进crf，它就能自动忽略pad的token

simon469660451
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
device not ready cuda
weixin_30702413的博客
12-30 603
问题描述： CUDA: 使用cudaEventElapsedTime时返回device not ready error 强调下我是用谷歌大神搜索到的结构哦！ http://stackoverflow.com/questions/6551121/cuda-cudaeventelapsedtime-returns-device-not-ready-error 我自己的环境是用的Tesla C2...
【Bert + BiLSTM + CRF】实现实体命名识别的数据集
05-22
4. 源码：实现Bert + BiLSTM + CRF模型的代码，通常包括数据预处理、模型定义、训练和评估过程。 5. 预训练模型：可能已经预训练过的BERT模型权重，可以加快训练速度并提高性能。 6. 词汇表：用于映射文本到模型内部...
训练Huggingface的Pytorch版BERT出现错误“RuntimeError: CUDA error: device-side assert triggered”
Micheal_Yuans的博客
01-06 601
Pytorch运行时出现错误“RuntimeError: CUDA error: device-side assert triggered”错误原因解决方案 错误原因 RuntimeError: CUDA error: device-side assert triggered出现的根本原因是实际数据的label与模型定义的label不匹配，具体来说有以下几种： 1.真实数据的label数量不等于模型定义的label数量； 2.真实数据的label值并非[0, 1, 2, …]，而是自定义的label值. 解
【已解决】RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronous
热门推荐
dont worry about it的博客
05-13 4万+
报错： RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. Compile with `TORCH_US
pytorch, BERT, RuntimeError: CUDA error: device-side assert triggered
kejizuiqianfang的博客
08-03 1631
  对于pytorch，在进行训练的时候，突然报了RuntimeError: CUDA error: device-side assert triggered错误，根据网上的大部分解决方案，这个错误一般是出现在“数组越界”的情况，这里不是说具体的真的是数组越界，只是泛指这一类的，访问的地址超过了最长范围了。   但是为了确定具体的错误，仅仅靠上面那个错误提示是不够的，所以我们想要它显示具体的错误信息，这个时候想要判断出错的地方，我们需要在运行代码的时候，在命令前面加上CUDA_LAUNCH_BLOCKING
Bert分类模型训练报错：RuntimeError: CUDA error: device-side assert triggered
凝眸伏笔的博客
04-25 1626
问题： 训练bert分类模型时候，报错如下： <torch.utils.data.dataloader.DataLoader object at 0x7f63fe59a588> Epoch [1/50] /pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [0,0,0] Assertion `t >=
【解决方法】RuntimeError: CUDA error: no kernel image is available for execution on the device
靖待的CSDN博客
01-24 4399
pytorch 1.8.1 + cu101 报错： RuntimeError: CUDA error: no kernel image is available for execution on the device 原因： GPU太垃圾，被pytorch嘲讽。 查看各版本GPU算力请看官网https://developer.nvidia.com/zh-cn/cuda-gpus 解决方法： 更换更好的显卡。 ...
已解决：RuntimeError: CUDA error: device-side assert triggered
咖乐部
04-30 1365
遇到这个错误，基本都是标签没有从0开始，或者，标签结果中包含了设定之外的值。 做分类任务时，可能分类标签没有从0开始： 参考：https://www.cnblogs.com/henuliulei/p/13258297.html 我是在用transformer做生成任务时遇到的。 原因：在给decoder输入位置的tensor，以进行位置编码时，位置的tensor是从1开始了。我认为位置是句子的长度，所以从1开始。 实际还是要从零开始 ...
Pytorch实现基于BERT+ BiLSTM+CRF的命名实体识别项目源码（课程设计）.zip
11-15
Pytorch实现基于BERT+ BiLSTM+CRF的命名实体识别项目源码（课程设计）.zip 这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 Pytorch实现基于BERT+ BiLSTM+CRF的命名实体...
基于Bert+BiLSTM+CRF的命名实体识别.zip
05-11
基于Bert+BiLSTM+CRF的命名实体识别 基于Bert+BiLSTM+CRF的命名实体识别 基于Bert+BiLSTM+CRF的命名实体识别 基于Bert+BiLSTM+CRF的命名实体识别 基于Bert+BiLSTM+CRF的命名实体识别 基于Bert+BiLSTM...
基于Bert+BiLSTM+CRF的命名实体识别（高分项目）.zip
最新发布
05-23
基于Bert+BiLSTM+CRF的命名实体识别（高分项目）.zip个人经导师指导并认可通过的高分设计项目，评审分98分。主要针对计算机相关专业的正在做课设的学生和需要项目实战练习的学习者，可作为课程设计、期末大作业。 ...
基于Pytorch+BERT+CRF的NLP序列标注模型，目前包括分词，词性标注，命名实体识别等.zip
11-16
基于Pytorch+BERT+CRF的NLP序列标注模型，目前包括分词，词性标注，命名实体识别等.zip基于Pytorch+BERT+CRF的NLP序列标注模型，目前包括分词，词性标注，命名实体识别等.zip基于Pytorch+BERT+CRF的NLP序列标注模型...
linux（centos7）+cuda9.0+cudnn7+tensorflow1.10.0，基于bert的文本分类实战（包含卸载cuda11.x）
qq_43922073的博客
08-30 348
最近在做文本分类。虽然bert已经过时了，但还是拿来用一用试试，由于是linux新手，在cuda上走了不少弯路（可以直接搭建虚拟环境安装cuda9.0，不用卸载11.x），现将完整过程写在这里： 1.卸载cuda11再安装 cuda11没有unistall文件，暴力卸载大法好。 sudo rm -rf /usr/local/cuda-11.4 sudo rm -rf /usr/local/cuda-11 sudo rm -rf /usr/local/cuda 这里强烈建议大家去/usr/l...
RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously reported
窝要芝士的博客
10-27 5576
你可以在运行脚本之前设置这个环境变量来启用CUDA的同步错误检测。这样可以使得CUDA错误被立即报告，并且堆栈跟踪是正确的，有助于更好地进行调试。确保你正在使用的CUDA版本与PyTorch版本兼容。确保你的设备索引值在正确的范围内。所以进一步认为：总不能是代码识别不到那些卡之类的原因？一开始这状态是没有这左边的2的，加了下面那行代码才是下图的状态——明明有8个卡，只是gpu = 3为什么一直报这个错？确认你的系统中有多少个可用的CUDA设备。有大佬知道为什么吗？为什么又突然可以在第三张卡运行了？
解决报错：RuntimeError: CUDA error: device-side assert triggered
qq_50000922的博客
06-25 1万+
如果下方有提：For debugging consider passing CUDA_LAUNCH_BLOCKING=1.我们可以在代码中import os下添加“os.environ[‘CUDA_LAUNCH_BLOCKING’] = “1””，这样可以保证报错信息提示的位置是准确的。我遇到的问题最终显示是在代码的scatter_函数（torch）中存在映射维度不匹配的情况，映射的目标index有0,1两个位置，但被映射对象对应维度上只有1维，因此报错。
问题解决 |关于CUDA的代码错误总结以及解决方法
weixin_44649780的博客
06-26 1万+
本博客主要关于常见的CUDA的代码错误总结以及解决方法~
关于Bert多卡GPU预训练过程中所遇到的问题
吉米_王
02-21 956
相关问题 1、首先我在设计Bert多卡预训练的过程中，第一想到的就是需要创建一个隔离环境，其实创建隔离环境有很多好处，尤其是在出现一些依赖关系或者版本是否支持这样的冲突的时候，他的相对优势就体现出来了，规避一些不必要的麻烦； 2、获取了一个干净的docker image之后其实就是一些组件的安装了，例如：nccl、openmpi、horovod、cmake升级、gcc升级4+ --> 5+（内部涉及了三个组件之间的依赖关系，参考安装链接：https://www.cnblogs.com/mingfor.
python、深度学习等代码错误集合
垃圾就应该待在垃圾桶里的博客
12-20 472
1、RuntimeError: cuda runtime error (710) : device-side assert triggered at C:/w/1/s/tmp_conda_3.7_104508/conda/conda-bld/pytorch_1572950778684/work/aten/src\THC/generic/THCTensorMath.cu:26 解决办法：检查一下自己的类别，是否与输出类别不一致 ...
BERT+CRF实现命名体识别的代码
06-10
下面是基于BERT+CRF的命名实体识别代码，其中使用了Hugging Face的Transformers库和TensorFlow 2.0。 首先，需要安装Transformers库： ``` pip install transformers ``` 然后，可以使用以下代码实现基于BERT+CRF...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值