训练Huggingface的Pytorch版BERT出现错误“RuntimeError: CUDA error: device-side assert triggered”

最新推荐文章于 2023-09-23 23:30:43 发布
最新推荐文章于 2023-09-23 23:30:43 发布
阅读量599 收藏
点赞数
分类专栏： Pytorch 文章标签： 深度学习 pytorch 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Micheal_Yuans/article/details/112273240
版权

Pytorch运行时出现错误“RuntimeError: CUDA error: device-side assert triggered”

错误原因

RuntimeError: CUDA error: device-side assert triggered出现的根本原因是实际数据的label与模型定义的label不匹配，具体来说有以下几种：
1.真实数据的label数量不等于模型定义的label数量；
2.真实数据的label值并非[0, 1, 2, …]，而是自定义的label值.

解决方案

(对应上述两个错误原因)
1.改变模型中自定义的label值，使之与真实label数量一致；
2.在将数据输入训练模型之前更改数据的label值，让其符合[0, 1, 2, …]的形式.

希望能对遇到同样问题的朋友有所帮助。

Ray Mond
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【踩坑】RuntimeError: index out of range: Tried to access index 30522 out of table with 30521 rows.
li_jiaoyang的博客
09-21 3374
使用huggingface下载torch版本的bert-base-chinese预训练模型，格式如上图。 indexed_tokens = self.tokenizer.convert_tokens_to_ids(token) 在这里把token转成id，但是由于下载的vocab名称是"bert-base-chinese-vocab.txt",默认读取的vocab名称是“vocab.txt”。应当将其改名为vocab.txt 踩坑 下载的模型自带英文的vocab.txt，我不知道要改名，或者把他的删.
Hugging模型离线部署报错解决——RuntimeError: “linspace_cpu“ not implemented for ‘Half‘
最新发布
qq_58718853的博客
04-15 523
解决离线模型部署中的报错：RuntimeError: "linspace_cpu" not implemented for 'Half'
RuntimeError: CUDA error: CUBLAS_STATUS_INTERNAL_ERROR when calling `cublasCreate(handle)`
James_yaoshi的博客
03-23 1万+
##RuntimeError: CUDA error: CUBLAS_STATUS_INTERNAL_ERROR when calling cublasCreate(handle) 最近在使用pytorch训练神经网络时出现了标题所示的错误，产生了很大的疑惑，因为在一个月前运行是不存在任何问题的，但是现在却出问题了，所以四处寻找各种解决方案，经过一整天的努力和尝试终于解决了这个问题。接下来把尝试过的方法分享给大家，其中最后一种方案是我适用的： 方法一 https://blog.csdn.net/xiaoxi
Hugging Face 无法连接问题 OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file 解决方案
m0_46295727的博客
09-23 3万+
Hugging Face 无法连接问题 OSError: We couldn't connect to 'https://huggingface.co' to load this file 解决方案 亲测有效
训练报错：RuntimeError: CUDA error: device-side assert triggered
猫猫与橙子的博客
02-08 5236
训练分类网络resnet18发生报错：RuntimeError: CUDA error: device-side assert triggered
BERT-whitening-pytorch:Pytorch版本的BERT白化
04-01
BERT增白 这是“美化的Pytorch实施。 BERT增白在文本语义搜索中非常实用，其中增白操作不仅提高了无监督语义矢量匹配的性能，而且减小了矢量维，有利于减少内存使用量，提高矢量搜索引擎的检索效率，例如，FAISS。 ...
pytorch-bert:使用PyTorch的TransformerEncoder实现BERT
04-25
使用PyTorch TransformerEncoder和预训练模型的BERT实现。 安装 pip install pytorch-bert 用法 config = BertConfig . from_json ( "path-to-pretarined-weights/bert_config.json" ) model = Bert ( config ) ...
BERT-NER-Pytorch：使用BERT（Softmax，CRF，Span）的中文NER（命名实体识别）
02-03
使用Bert的中文NER BERT代表中文NER。数据集列表cner：数据集/ cner 主持人： ： 型号清单BERT + Softmax BERT + CRF BERT +跨度需求1.1.0 = <PyTorch <1.5.0 cuda = 9.0 python3.6 +输入格式输入格式（首选...
BERT-中文文本分类-pytorch：此存储库包含用于文本分类的预训练BERT模型的PyTorch实现
02-03
PyTorch的BERT中文文本分类此存储库包含用于中文文本分类的预训练BERT模型的PyTorch实现。代码结构在项目的根目录，您将看到： ├── pybert| └── callback| | └── lrscheduler.py　| | └── ...
bert-extractive-summarizer:BERT易于使用的提取文本摘要
05-04
该工具利用HuggingFace Pytorch变压器库来进行提取性汇总。 通过首先嵌入句子，然后运行聚类算法，找到最接近聚类质心的句子，可以实现这一目的。 该库还使用共指技术，利用库解析需要更多上下文的摘要中的单词。 ...
RuntimeError: CUDA error: device-side assert triggered 问题的解决思路
Penta_Kill_5的博客
06-21 9万+
问题如下： RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
RuntimeError: CUDA error: device-side assert triggered Pytorch框架代码运行错误解决方案(亲测有效！！)
weixin_42112050的博客
09-24 2879
RuntimeError: CUDA error: device-side assert triggered bug详解报错原因错误定位解决方案 报错原因 在使用Pytorch框架代码进行模型训练时出现以下报错：RuntimeError: CUDA error: device-side assert triggered。出现这种报错的直接原因多种多样，没有办法一一列举，网上许多资料列举的解决方案是自己代码的报错解决，不具有通用性。很难通过查看这类资料找寻到解决方案。这个错误是CUDA报错，根本原因是代码中有
RuntimeError: CUDA error: device-side assert triggered
yeeanna的博客
02-19 509
说明问提出在s_output和label_source上。查了查unable to get repr for class说是数据对不上，才发现s_output的输出维度和数据集的类别数对不上，于是改了输出类别数num_class。省流：网络输出类别数和数据集实际类别数不相等。在改代码时经常遇到这个错误，于是记录下来。
RuntimeError: CUDA error: device-side assert triggered的解决
热门推荐
思念殇千寻的博客
04-14 12万+
　　参考资料：自己debug 　　首先，我报错的问题的文本是：RuntimeError: CUDA error: device-side assert triggered以及 　　Assertion `input_val >= zero && input_val <= one` failed 　　把这两个文本放在前面以便搜索引擎检索。下面说一下我的解决方案，因为问题解...
detectron2 出现错误：RuntimeError: CUDA error: device-side assert triggered
weixin_43937959的博客
10-26 752
detectron2 出现错误：RuntimeError: CUDA error: device-side assert triggered
PyTorch报错：RuntimeError: CUDA error: device-side assert triggered at /pytorch/aten/src/THC/generic
希望你会喜欢
04-01 1294
训练模型报错 RuntimeError: cuda runtime error (710) : device-side assert triggered at /pytorch/aten/src/THC/generic/THCTensorMath.cu:29 问题解决 原因：标签（label）越界，一般从0开始 方法：更改你的标签值，从0开始 target_names = ['__label__1', '__label__2', '__label__3', '__label__4', '__label__
RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)` NLLLoss
09-19
当你在GPU上运行深度学习训练模型的程序时，报错"RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)`"通常表示CUDA内存不足。这个错误可能是由于你的数据集扩充导致的。 一种可能的解决方法是减少批处理大小（batch_size），以减少对CUDA内存的需求。但是你在尝试将batch_size减小到16、8、4和2后仍然无效。 另一个可能的原因是你在tokenizer中添加了新的special_token，但忘记了更新模型的tokenizer的词表大小。为了解决这个问题，你需要使用`resize_token_embeddings`方法来更新模型tokenizer的词表大小。具体操作如下： ``` from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-cased') # 添加特殊词 tokenizer.add_special_tokens({'additional_special_tokens':["<S>"}） model = BertModel.from_pretrained("bert-base-cased") # 在模型中更新词表的大小！ # 重要！ model.resize_token_embeddings(len(tokenizer)) ``` 如果你不想继续在GPU上运行，你可以将程序改为在CPU上运行。这样做可以解决报错问题，但是运行速度可能会较慢，耗费时间会比较长。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值