paddlepaddle使用多进程报错“(External) CUDA error(3), initialization error.”的解决方法

最新推荐文章于 2024-09-05 20:45:21 发布
最新推荐文章于 2024-09-05 20:45:21 发布
阅读量4.1k 收藏 2
点赞数
文章标签： python paddlepaddle 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn1b/article/details/121678951
版权

使用paddlepaddle训练模型时，存在模型训练已结束，但GPU显存依然占用，影响下一次训练的问题。为了能够在模型训练结束后自动释放GPU显存，参考Tensorflow借助多进程释放内存的方法，可以将paddlepaddle的模型训练放到多进程中进行，从而让训练进程结束后GPU资源自动的释放。

但是在使用 multiprocessing 训练paddlepaddle模型时有时候会遇到

CUDA error(3), initialization error.

的错误提示。

参考paddlepaddle在github上的issue讨论，发现将所有与paddle相关的模块都放到 multiprocessing 里 import 且不要在多进程外有 import 这些模块就可以正常运行了，这样在进程结束后相应的资源也会自动释放。

参考：
TensorFlow函数使用完成释放显存问题 - 知乎
单gpu 多进程报错 · Issue #2241 · PaddlePaddle/PaddleDetection · GitHub
multiprocessing — 基于进程的并行 — Python 3.7.12 文档

逸笔1B
关注
PaddlePaddle——问题解决：使用Python multiprocessing时报错：CUDA error(3), initialization error.
Irving.Gao的博客
12-19 2551
报错详情 报错代码 from paddle.inference import PrecisionType from PaddleDetection_Inference_Lib import Paddle_inference # process 1 def paddle_predict(quene): cap = Stereo_Camera(camera_id=0) paddle_infer = Paddle_inference(model_folder_dir, use_model_img
paddleOCR运行，OSError: (External) CUDA error(3), initialization error.
leokingszx的博客
03-25 357
提取OCR，将该环境部署到docker打包后，出现了上述问题。但使用paddle.utils.run_check()也正常。一度怀疑是cuda、paddlepaddle版本和GPU驱动问题，然后发现并不是。虽然是单GPU，但去了出错，也有问题。
关于paddleocr文字识别内存泄漏的问题
最新发布
m0_74139794的博客
09-05 513
最近在写一个小项目，需要使用paddleocr进行文字识别，然后发现存在严重的内存泄漏，运行时间越长，cpu和内存的占用率就越高。很容易导致程序的崩溃。大概就是说，这是paddle框架将Tensor做了缓存复用。但是这个缓存复用的策略对于我的项目需求没有好处，或者说是负担。内存一直在增加，没有减少的痕迹。github官网有很多人都在讨论这个问题。经过测试，内存确实不会一直涨到100%，但是可能还是会增长。
PaddlePaddle——多进程实现基于多摄像头的视觉巡线、目标检测、运动控制等任务并且实现数据共享
Irving.Gao的博客
12-19 3037
文章目录多进程主程序进程说明核心代码进程间传输图像运行效果 多进程主程序 进程说明 本程序有三个子进程，分别为： 1、巡线进程： 摄像头1的图像处理巡线进程 2、目标检测进程： 摄像头0的目标检测进程 3、决策控制进程： 基于前两个感知进程结果的决策控制进程 核心代码 import multiprocessing as mp import numpy as np import cv2 import time import math import argparse from StereoCamera_
解决CUDA error (3): initialization error (multiprocessing)
热门推荐
lawenliu的专栏
10-22 2万+
在做一个图像处理相关的项目，NVIDIA基于CUDA的GPU，我们需要把图像处理做成服务，并提升CPU上并发速度。整个服务既有CPU处理，又有GPU处理，我们就需要把CPU上的处理做成多线并发，把GPU上的数据做成batch并发起来。由于code是用pytorch 的python版本实现的，而不是c++，这就给我们造成了困扰，对于python我们知道多进程才能做到利用CPU多核的目的，而多线并不能...
fastdeploy部署多线/进程paddle ocr（python flask框架 ）
every place is the center of the universe
08-23 2727
安装cpu：命令：多线程多进程。
CUDA error(3), initialization error.
田田的博客
05-13 245
非常奇葩，把使用设备从device="GPU"改成device=“0”，就可以了。
Java JLayer报错Error occurred during initialization of boot...
twxwjh的博客
07-21 3513
Java JLayer报错 最近用Java JLayer时报错了… Error occurred during initialization of boot layer java.lang.module.FindException: Unable to derive module descriptor for C:\Java_projects\music_player\src\jar\jl1.0.1.jar Caused by: java.lang.IllegalArgumentException: jl1
关于RuntimeError: Cannot re-initialize CUDA in forked subprocess和CUDA error: initialization error的解决
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
09-27 2537
最近小虎在cpu上试跑了detection任务的程序没什么问题，但是在gpu上运行时发生了关于cuda的一些报错，发现解决问题的精华就一句话。下面给出问题解决的例子和代码。
求助！Tensorflow2.3 GPU报错InternalError: CUDA runtime implicit initialization on GPU:0 failed.
qq_39254473的博客
08-19 9362
Tensorflow2.3 GPUTensorflowGPU新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 TensorflowGPU https://tensorflow.google.cn/install/gpu 新的
Vue2/3 - 报错Error in v-on handler: ReferenceError: Cannot access ‘x‘ before initialization“ found in
高级前端工程师
03-23 2574
vue2，vue3，报错解决方法，浏览器控制台出现错误，报红，vue2报错，vue3报错，vue报错怎么解决，[Vue warn]: Error in v-on handler: "ReferenceError: Cannot access 'x' before initialization" found in，有什么解决方法，一直无法解决怎么办，vue错误警告该怎么处理，vue浏览器报错，vue控制台错误处理，详细解决方案，vue项目出现报错，vue报ReferenceError: Cannot acce
IDEA报错Error occurred during initialization of VM GC triggered before VM initialization completed. Tr
爱吃雪糕的小布丁的博客
05-21 1万+
Error occurred during initialization of VM GC triggered before VM initialization completed. Try increasing NewSize, current value 1536K. 原因就是Java虚拟机的内存给的不合理，因为我今天在学JVM的时候自己在IDEA手动调了JVM的内存大小，我调的太小了所以报错了，如下：
PaddleOCR 调用GPU CUDNN error(3) 报错处理
weixin_45741855的博客
11-19 767
PaddleOCR报错处理
pyinstall打包paddle程序运行出现多个.exe，更改源码的解决方案
u010674979的博客
05-26 878
pyinstall打包paddle程序运行出现多个.exe，更改源码的解决方案 pyinstall打包paddle程序运行出现多个.exe解决方案，添加 multiprocessing.freeze_support()不起作用。 问题：使用pyinstall 打包paddleocr程序，运行打包后的.exe任务管理器里面出现多个.exe，导致程序卡死。 分析原因： python程序打包后，运行出现多个.exe多半都是因为多进程或者线程池引起的。所以排查源码中的多进程或者线程池。一般多进程也是用于
CUDA error (3): initialization error (multiprocessing)
鹊踏枝-码农的专栏
01-04 4911
在使用PyTorch框架搭建完网络，训练时出现CUDA error (3): initialization error (multiprocessing)错误，此类错误（若确定网络搭建没问题的话）多半是因为有其它并行程序正在运行，占用，导致在运行PyTorch程序时无法启动多线程，导致报错。 本人遇到此错误是因为在运行Matlab程序（parfor循环），启动多线程，Matlab程序运行完毕后而...
【Python】已解决：（paddleocr库安装报错） error: subprocess-exited-with-error × Running setup.py install for pyth
屿小夏.的知识博客
07-07 1133
在尝试安装paddleocr库时，有时会遇到依赖包安装失败的问题。权限管理：在安装过程中，确保有足够的权限执行安装命令，或者使用sudo（但最好避免在全局环境中使用sudo安装Python包）。通过遵循上述指南，你应该能够成功安装paddleocr库，并解决python-Levenshtein安装失败的问题。安装依赖库：根据python-Levenshtein的需要，可能还需要安装一些开发库。在执行上述命令时，如果系统不满足python-Levenshtein的安装条件，则会出现上述错误。
paddleocr
u013250861的博客
07-14 409
先抛结论，对于想要快速了解某一领域有哪些比较适合落地的算法的从业人员来说，是一个很好的参考系统。从中可以知道从哪些模型里选型、如何、如何加速、一些非常细节的FAQ。但是，这个框架维护上还是存在欠缺，比如很多人反馈的教程调不通，盘子铺得较大但维护没跟上；遇到一些报错的时候，相比pytorch这种大量使用的框架，能查到的解决方案较少。
PaddlePaddle——多线程并行预处理、预测、后处理
Irving.Gao的博客
01-19 5522
线程 总共分为三个线程，前处理、预测和后处理 ''' Descripttion: version: Author: Irving.Gao Date: 2022-01-04 22:44:42 LastEditors: Irving.Gao LastEditTime: 2022-01-19 15:00:59 ''' import cv2 import numpy as np import time import threading from Lib.PaddleDetection_Inference_Li
cuda initialization failure with error 999.
09-08
CUDA 初始化失败错误代码 999 可能有多种原因。如果遇到此错误，可以尝试以下解决方法： 1. 检查 GPU 驱动程序是否正确安装。...如果以上解决方法都无法解决问题，建议查阅 CUDA 官方文档或寻求专业的技术支持。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值