跑深度学习模型时，出现RuntimeError: An attempt has been made to start a new process ···报错

最新推荐文章于 2024-05-04 21:55:45 发布
最新推荐文章于 2024-05-04 21:55:45 发布
阅读量321 收藏
点赞数
文章标签： YOLO 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_70423469/article/details/133279704
版权

今天准备跑自己的一个项目时，模型训练的时候报错

刚开始因为我用的是自己写的一个主函数运行，并没有在命令行中运行，我以为是我自己写的主文件有问题，然后在命令行中运行一遍也出现同样的问题。

这是因为在linux系统中可以使用多个子进程加载数据，而在windows系统中不能。在windows系统中需要将进程数设置为单进程，所以我们需要将数据处理语句这部分的参数wokers改为wokers0就可以解决该错误。记录一下防止下次报错忘记。

等你下课ソ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
成功解决Failed to import transformers.models.vision_encoder_decoder.modeling_vision_encoder_decoder beca
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
10-20 2099
​ 成功解决Failed to import transformers.models.vision_encoder_decoder.modeling_vision_encoder_decoder because of the following error (look up to see its traceback): 目录 解决问题 解决思路 解决方法 解决问题 RuntimeError: Failed to import transformers.models.vision_encoder_d
RuntimeError: Failed to import transformers.models.clip.modeling_clip because of the following error
jacke121的专栏
01-14 1602
RuntimeError: Failed to import transformers.models.clip.modeling_clip because of the following error
Bug | RuntimeError: Failed to import transformers.models.fnet.tokenization_fnet because of the follo
最新发布
Junseer的博客
05-04 279
RuntimeError: Failed to import transformers.models.fnet.tokenization_fnet because of the following error (look up to see its traceback): No module named 'sentencepiece'
成功解决RuntimeError: Failed to import transformers.models.llama.tokenization_llama_fast because of the
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-02 1万+
​ 成功解决RuntimeError: Failed to import transformers.models.llama.tokenization_llama_fast because of the following error (look up to see its traceback): tokenizers>=0.13.3 is required for a normal functioning of this module, but found tokenizers==0.12.1 目录
KERAS调用PLOT_MODEL报错解决方法：FAILED TO IMPORT PYDOT...
123
09-11 311
参考链接：https://www.freesion.com/article/6179127699/ 既是： from keras.utils.vis_utils import plot_model plot_model(model, to_file='model2.png',show_shapes=True)
解决报错RuntimeError: Failed to import transformers.trainer_seq2seq because of the following error
qq_35166730的博客
10-17 2620
参考：https://github.com/huggingface/transformers/issues/23340。需要升级accelerate包。
JNA方式调用dll报错：A fatal error has been detected by the Java Runtime Environment:
04-06
标题中的“JNA方式调用dll报错：A fatal error has been detected by the Java Runtime Environment:”是一个典型的Java编程问题，涉及到Java Native Access (JNA) 和动态链接库（dll）的交互。JNA是Java平台的一个...
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
Vue项目报错：Uncaught SyntaxError: Unexpected token <
10-17
主要介绍了Vue项目报错：Uncaught SyntaxError: Unexpected token <，在引入第三方依赖的 JS 文件时，遇到的一个问题，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Python RuntimeError: thread.__init__() not called解决方法
09-22
主要介绍了Python RuntimeError: thread.__init__() not called解决方法,需要的朋友可以参考下
解决docker报错Error response from daemon oci runtime error_centos安装docker
01-07
解决docker报错Error response from daemon oci runtime error
深度学习中训练时候遇到这些错误 RuntimeError、IndexError、ValueError如何解决
m0_63669388的博客
07-17 4425
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same CUDA error: device-side assert triggeredRuntimeError: Expected all tensors to be on the same device, The size of tensor a (5) must match the size of
modelscope 多模态环境配置及问题解决
lansebingxuan的专栏
07-21 4112
如果需要进一步具体使用ModelScope平台上承载的，包括多模态，NLP，CV，语音等不同领域的模型，来进行模型推理以及模型训练、微调等能力，则需要安装各个领域上不同的依赖。适合本地开发调试使用，修改源码后可以直接执行。安装成功后，即可使用对应领域模型进行推理，训练等操作。安装完成后，执行如下命令为modelscope library创建对应的python环境。如下图，根据自己的机器环境和CUDA版本选择，我的环境是Ubuntu系统，CUDA是10.2,因此选择下面红框的命令安装。
tensorflowNLP实战
kewei chen
03-06 362
model.add(LSTM(100))是什么意思？model.add(LSTM(100))是在一个Sequential模型中添加一个LSTM层的语句。LSTM层是一种循环神经网络层，可以处理序列数据，如文本或语音¹²。LSTM层的参数100表示该层有100个神经元，用于提取长期依赖性信息¹³。您可以根据您的任务和数据调整这个参数的大小。
ChatGLM2 源码解析：`ChatGLMTokenizer`
龙哥盟
11-08 1313
【代码】ChatGLM2 源码解析：`ChatGLMTokenizer`
报错：导入`transformers`模块时发生了错误
追求卓越
05-29 2806
确保在执行以上步骤之前，你的网络连接正常，并且Anaconda环境或虚拟环境已激活。如果问题仍然存在，请确保你的安装环境和依赖项都正确配置，并尝试进行进一步的故障排除。版本与你的代码兼容。模块时发生了错误，可能是因为缺少了该模块。为了解决这个问题，需要安装。
玩一玩阿里通义千问开源版，Win11 RTX3060本地安装记录！
s_develop的博客
08-16 882
同时，在Qwen-7B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。一步一坑是常态，踩过了，就简单了。这个问题出在两个方面，一个是这个包好像只支持8bit量化，而我代码里有用的是4bit。不用魔法，就能飞起，这是搞国外项目，永远享受不到的待遇啊。全方位碾压同类70亿参数模型，在即将开源的、用于评估工具使用能力的自建评测基准上，居然K·O了GPT-4 哈哈。官方也提供了4bit量化的代码，直接拷贝过来，搞了一个test2.py文件。玩过的可以跳过，没玩过的可以当个参考。
bert 环境搭建之Pytorch&Transformer 安装
chwei20002005的博客
12-03 6726
transformer 安装 & Pytorch 安装
RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase.、
06-02
这个错误通常是在多进程编程中出现的，它表示在当前进程完成引导阶段之前尝试启动新进程。在 Python 中，每个进程都需要进行一些初始化工作，这些工作包括加载模块、设置环境变量等。如果在当前进程完成这些初始化工作之前尝试启动新进程，就会出现这个错误。 解决这个问题的方法取决于你的具体情况。以下是一些可能会导致这个错误的情况和相应的解决办法： 1. 在主模块中启动新进程。应该将启动新进程的代码放在一个函数中，然后在主模块中调用这个函数。这样可以确保在当前进程完成初始化之后再启动新进程。 2. 在导入模块时启动新进程。这种情况下，应该将启动新进程的代码移到模块的函数或类定义中，或者在模块级别下使用 `if __name__ == '__main__':` 语句来保护启动新进程的代码，这样可以确保在模块完全加载之后再启动新进程。 3. 在使用多进程池时，应该确保在所有进程都已完成初始化之后再提交任务，或者使用 `apply_async` 方法来提交任务并等待结果返回。 希望这些解决方案能对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值