【debug】报错RuntimeError: can‘t start new thread解决

已于 2023-11-07 17:22:23 修改
阅读量8.7k 收藏 1
点赞数 1
分类专栏： Debug mmSegmentation 文章标签： python albumentation 进程 mmseg debug torch pytorch
于 2023-07-18 11:25:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38308388/article/details/131783038
版权

🚀Debug专栏

       其他debug记录请参考上方【debug专栏】

目录

🚀Debug专栏

🍭🍭背景

❓❓问题

🙋🙋解决方案

1.cpu线程数降低

2.数据增广

至此问题就解决了😎😎

整理不易，欢迎一键三连！！！

🍭🍭背景

        跑PyTorch 的深度学习的代码，之前跑没有问题，换了一台服务器，遇到这个bug报错：RuntimeError: can't start new thread，原因是测试的时候线程开得太多了，导致软件开始，不再能够被处理，卡死。

❓❓问题

        详细报错信息[ERROR:0] global /tmp/pip req build cg56sov1/opencv/modules/core/src/parallel_impl.cpp (24
0) WorkerThread 160: Can't spawn new thread: res = 11循环很多次，如下所示：


[ERROR:0] global /tmp/pip-req-build-cg56sov1/opencv/modules/core/src/parallel_impl.cpp (24
0) WorkerThread 158: Can't spawn new thread: res = 11
[ERROR:0] global /tmp/pip-req-build-cg56sov1/opencv/modules/core/src/parallel_impl.cpp (24
0) WorkerThread 120: Can't spawn new thread: res = 11
[ERROR:0] global /tmp/pip-req-build-cg56sov1/opencv/modules/core/src/parallel_impl.cpp (24
0) WorkerThread 152: Can't spawn new thread: res = 11
[ERROR:0] global /tmp/pip-req-build-cg56sov1/opencv/modules/core/src/parallel_impl.cpp (24
0) WorkerThread 159: Can't spawn new thread: res = 11
[ERROR:0] global /tmp/pip-req-build-cg56sov1/opencv/modules/core/src/parallel_impl.cpp (24
0) WorkerThread 160: Can't spawn new thread: res = 11


...


RuntimeError: can't start new thread

🙋🙋解决方案

1.cpu线程数降低

        可以尝试将num_work调小，即调小mmseg工程里的config文件中workers_per_gpu参数。

        代码如下：

data = dict(
    samples_per_gpu=4,  #batch_size
    workers_per_gpu=1,  #num_work
    train=dict(...)
    )

2.数据增广

        albumentations库中所使用的基于opencv的各种数据变换占用了太多的cpu，因此需要调小opencv的线程数目，在训练最开始的时候加入以下两行。

        代码如下：

import cv2
cv2.setNumThreads(1)	# 0也可以

至此问题就解决了😎😎

整理不易，欢迎一键三连！！！

送你们一条美丽的--分割线--

🌷🌷🍀🍀🌾🌾🍓🍓🍂🍂🙋🙋🐸🐸🙋🙋💖💖🍌🍌🔔🔔🍉🍉🍭🍭🍋🍋🍇🍇🏆🏆📸📸⛵⛵⭐⭐🍎🍎👍👍🌷🌷

解决 S3 文件复制时的 “can‘t start new thread“ 错误
TechEnthusiast的博客
11-27 458
在使用 AWS S3 进行大规模文件复制操作时，有时会遇到 “can’t start new thread” 的错误。这个问题通常与系统资源限制有关，特别是在处理大量文件或大文件时更容易发生。本文将详细介绍这个错误的原因以及多种可能的解决方案。
error: libhttps_la-utils.locreated by ‘chacha20poly1305ietf/utils.c‘ and ‘src/utils.c‘解决方案
wgl307293845的博客
10-24 90
同步修改aead_runtime.c中关于runtime.h的引用，修改为#include "aead_runtime.h"同步修改aead_utils.c中关于utils.h的引用，修改为#include "aead_utils.h"将runtime.c和runtime.h修改为aead_runtime.c和aead_runtime.h。将utils.c和utils.h修改为aead_utils.c和aead_utils.h。从以下日志可以看出是由于utils.c和runtime.c文件名重复导致。
在docker中运行 pip 报错 Can‘t start new thread
Rao的博客
02-27 4826
原因源头 stackoverflow his is because the default seccomp profile of Docker 20.10.9 is not adjusted to support the clone() syscall wrapper of glibc 2.34 adopted in Ubuntu 21.10 and Fedora 35. 由于docker 版本与最新版 python 容器冲突导致 解决方案 以下三种方式都可以解决 升级Docker 到 23.0.
Docker容器线程创建失败故障排查与解决
HYbk123的博客
03-14 626
通过上述方案已成功解决Docker 18.x版本下的线程创建问题，同时保持了服务的稳定性和性能。建议在可能的情况下升级到Docker 27.x版本以获得更好的安全支持和性能优化。--security-opt seccomp:unconfined \ # 关闭seccomp限制。--workers 2 --threads 3 # 观察稳定后。--workers 1 --threads 4 # 初始阶段。--workers 4 --threads 2 # 最终配置。
Python 3.5 RuntimeError: can't start new thread
weixin_34029949的博客
01-07 3564
/*********************************************************************** * Python 3.5 RuntimeError: can't start new thread * 说明： * 测试的时候线程开得太多了，导致软件开始，不再能够被处理，卡死。 * * ...
RuntimeError:can‘t start new thread---＞tensorboard引起的线程问题
weixin_45069367的博客
11-24 3326
RuntimeError:can't start new thread--->tensorboard引起的线程问题
runtime error python 3.5_Python 3.5 RuntimeError: can't start new thread
weixin_39568926的博客
12-19 5280
/************************************************************************ Python 3.5 RuntimeError: can't start new thread* 说明：* 测试的时候线程开得太多了，导致软件开始，不再能够被处理，卡死。** ...
docker python : dont start new thread
zuidenaoshi的专栏
04-10 939
故事: 原来有一套开发环境 ,想再一个机器上部署个测试环境, 都准备好启动的时候, 报了dont start new thread 在这个错, 无法启动新线程. 无论是你自己通过threading的线程还是 kafka consumer的线程, 都报错.解决经过: 看了很多帖子, 说使用ulimits加大doker对资源的限制等一堆方案, 都不行. 最后看到有人说是docker和容器内系统版本不匹配导致的, 报着死马当活马医的心态, 开搞.
深入理解Spring Cloud Feign与Ribbon：优雅的微服务调用解决方案
热门推荐
张彦峰的博客
02-14 166万+
在现代的分布式系统中，微服务架构已经成为了构建大型应用的主流方式。而在微服务架构中，服务间的通信尤为重要，直接影响到系统的稳定性和性能。Spring Cloud作为领先的微服务解决方案，提供了Feign和Ribbon这两个强大的工具，用于简化和优化服务间的调用和负载均衡。本文将探讨Spring Cloud Feign和Ribbon的工作原理及其在实际应用中的最佳实践，帮助开发者更好地理解和利用这些工具来构建可靠的微服务系统。
Android调用File.listFiles报错JNI DETECTED ERROR IN APPLICATION: input is not valid Modified UTF-8: illeg
pang9998的博客
02-18 5017
工作环境(蓝色粗体字为特别注意内容) 1，系统环境：Win7 Ultimate sp1、Eclipse+ ADTv22.3.0-887826 2、硬件环境：Android 5.1 ART 3、参考文献：https://www.jianshu.com/p/7dd63f1e5333、https://blog.csdn.net/u013174667/article/details/80773700、ht...
Python 线程的门道
weixin_30230009的博客
01-14 1340
二两：观前提示，本文设计到 Python 解释器级别源码，比较枯燥，但包含了 Python 线程绝大部分的知识，感兴趣的同学，enjoy文章目录1.Python 中的多线程2. 线程与进...
android 内存泄露-抓出重要函数-GL_OUT_OF_MEMORY-GL error: Out of memory!OpenGLRenderer
csh86277516的博客
04-11 1万+
一般log有错误的内存泄露提示“GL error:  Out of memory!”"GL_OUT_OF_MEMORY",我们就需要使用工具去一步一步的获取哪些模块类里面的方法出了问题，然后一个一个去尝试找出问题，以下是个人经历：问题点：蓝牙传输多个文件，引发蓝牙报停，log打印crash:OpenGLRenderer: GL error:  Out of memory!             ...
Python can‘t start new thread
xuxin8911的专栏
06-29 3388
Python can't start new thread
Python： Can't start new thread解决方案（设置线程上限）
LinFengOnlyOne的博客
09-18 3万+
背景： 在编写一个爬虫的时候，检查用多线程来检测结果有效性的时候，线程启动过多报错： thread.error: can't start new thread 方案：使用Thread中的event,并进行上锁设置来解决。 原因：这个是由于每台计算机能进行的并行是有上限的，经过测试本机的上限为1023个左右（win7 64位，i3 2核4线程），可以进行设置提高上限，但我觉得此处没有必要...
python 报错 can‘t start new thread
勿忘初心的博客
12-01 5237
运行一个模型时报错，can't start new thread 最后发现错误原因是每次计算loss时都开了一个SummaryWriter，而且没有关闭，导致线程数太多。 tb_writer = SummaryWriter(log_dir=args.writer_dir) 然后注释掉就好了，你也可以看看你的代码中是否有类似的操作，实在是太粗心了。 ...
Python报错MemoryError和RuntimeError: can't start new thread
给我一点温度
07-24 5431
docker容器中执行pip安装命令报Can‘t start new thread错误解决方法
视觉算法小趴菜的博客
03-28 4705
docker容器中执行pip安装命令报Can‘t start new thread错误解决方法
在服务器中使用Dockerfile构建镜像出bug：RuntimeError: can‘t start new thread
m0_46987570的博客
07-30 545
关闭pip进度条展示 RUN pip config set global.progress_bar off。在pip install的时候报错RuntimeError: can't start new thread。解决方法：在dockerfile文件中增加一行。
import os import time import speech_recognition as sr import pyttsx3 from kivy.app import App from kivy.uix.boxlayout import BoxLayout from kivy.uix.button import Button from kivy.uix.label import Label from kivy.core.window import Window from kivy.clock import Clock from threading import Thread from plyer import notification # 新增通知模块 class VoiceAssistantApp(App): def build(self): self.title = "语音控制助手" self.layout = BoxLayout(orientation='vertical', spacing=10, padding=20) # 语音反馈 self.engine = pyttsx3.init() self.engine.setProperty('rate', 150) # 优化语速 # 录音控制 self.recording = False self.recognizer = sr.Recognizer() # 移动端适配 Window.size = (360, 640) # 设置默认分辨率 self.layout.bind(minimum_height=self.layout.setter('height')) # 界面组件 self.status_label = Label(text="等待指令...", size_hint_y=None, height=50) self.command_label = Label(text="识别结果：", size_hint_y=None, height=50) self.start_button = Button(text="开始录音", size_hint=(1, None), height=60) self.stop_button = Button(text="停止录音", size_hint=(1, None), height=60) # 添加交互 self.command_label.bind(size=self.command_label.setter('text_size')) self.layout.add_widget(self.status_label) self.layout.add_widget(self.command_label) self.layout.add_widget(self.start_button) self.layout.add_widget(self.stop_button) return self.layout def speak(self, text): """语音反馈""" self.engine.say(text) self.engine.runAndWait() # 新增通知功能 notification.notify(title="语音助手", message=text, timeout=3) def start_recording(self, instance): """开始录音线程""" if not self.recording: self.recording = True self.status_label.text = "正在录音..." Thread(target=self.listen_for_command).start() def stop_recording(self, instance): """停止录音""" self.recording = False self.status_label.text = "等待指令..." def listen_for_command(self): """监听语音指令""" with sr.Microphone() as source: self.recognizer.adjust_for_ambient_noise(source) audio = self.recognizer.listen(source) try: # 使用Google语音识别API command = self.recognizer.recognize_google(audio, language='zh-CN') self.command_label.text = f"识别结果：{command}" self.execute_command(command) except sr.UnknownValueError: self.command_label.text = "识别失败，请重试" self.speak("抱歉，我没听懂，请重试") except sr.RequestError: self.command_label.text = "网络错误" self.speak("网络连接失败") def execute_command(self, command): """执行指令""" command = command.lower() # 示例指令（可扩展） if "打开浏览器" in command: self.speak("正在打开浏览器") os.system("am start -a android.intent.action.VIEW -d https://www.baidu.com") elif "播放音乐" in command: self.speak("正在播放音乐") os.system("mpg321 ~/Music/song.mp3 &") # 使用跨平台播放器 elif "关闭手机" in command: self.speak("正在关闭手机") os.system("adb shell input keyevent 26") # 通过ADB模拟按键 else: self.speak("抱歉，我暂时无法执行这个操作") self.command_label.text += "（无匹配指令）" if __name__ == '__main__': VoiceAssistantApp().run() 打包一下这个软件
最新发布
03-22
<think>嗯，用户让我打包他们提供的Python语音助手代码。我需要先理解代码的结构和依赖，然后考虑如何打包成可执行文件，特别是移动端可能需要APK，但Python打包移动应用比较复杂。通常，Python应用打包工具有PyInstaller、cx_Freeze等，但移动端可能需要Kivy的官方工具或者BeeWare。 首先，用户代码中用了Kivy，所以应该使用Kivy的打包工具。比如，对于Android，可以用Buildozer。但用户可能是在桌面环境下运行，也可能需要移动端。不过代码里有移动端适配的设置，比如设置窗口大小，可能用户希望打包成Android应用。 接下来，我需要检查代码中的依赖：speech_recognition, pyttsx3, plyer, Kivy等。另外，像pyttsx3在Android上可能有问题，可能需要替换为其他库。不过用户可能只是想在桌面运行，所以可能没问题。 然后，打包步骤大致是：安装依赖，配置打包工具，生成spec文件或buildozer.spec，处理可能的依赖问题。比如，speech_recognition需要PortAudio，可能需要额外安装。但如果是用PyInstaller，可能需要添加hidden imports或者数据文件。 另外，用户代码中用到了os.system执行一些命令，比如am start，这在Android上有效，但在Windows上可能不行。所以如果目标是Android，可能需要调整这些命令，使用Android的API或者Kivy的特定实现。 可能的问题点：pyttsx3在Android上的兼容性，可能需要使用Kivy的TTS模块代替。还有，speech_recognition在移动端的麦克风访问权限需要配置。 所以，回答用户时应该分两种情况：桌面打包和Android打包。桌面用PyInstaller，Android用Buildozer，并指出可能的依赖问题和需要调整的代码部分。此外，需要提醒用户检查语音识别和TTS在目标平台的支持情况，以及可能的权限配置。 最后，给出具体的步骤，比如安装Buildozer，配置spec文件，处理依赖，然后打包。同时，提示用户如果遇到问题，可能需要调整代码或处理平台特定的问题。</think>我来帮您分析这个语音助手应用的打包流程，并给出分步指导： $\boxed{一、环境准备}$ 1. 安装依赖库： ```bash pip install kivy plyer speechrecognition pyttsx3 ``` 2. 添加移动端打包工具： ```bash pip install buildozer cython==0.29.32 # Android打包需要 ``` $\boxed{二、桌面端打包（Windows/Linux/Mac）}$ 1. 安装PyInstaller： ```bash pip install pyinstaller ``` 2. 创建打包配置文件： ```python # 在代码同目录创建main.spec文件 block_cipher = None a = Analysis(['main.py'], binaries=[], datas=[], hiddenimports=['pyttsx3.drivers','pyttsx3.drivers.dummy'], hookspath=[], runtime_hooks=[], excludes=[], win_no_prefer_redirects=False, win_private_assemblies=False, cipher=block_cipher) pyz = PYZ(a.pure, a.zipped_data, cipher=block_cipher) exe = EXE(pyz,...) ``` 3. 执行打包命令： ```bash pyinstaller main.spec --onefile ``` $\boxed{三、Android打包（需Linux环境）}$ 1. 创建buildozer配置： ```bash buildozer init ``` 2. 修改buildozer.spec关键配置： ```ini [app] title = 语音助手 package.name = voiceassistant package.domain = org.example source.dir = . source.include_exts = py,png,jpg,kv requirements = python3, kivy, plyer, speechrecognition, pyttsx3, openssl [android] permissions = RECORD_AUDIO, INTERNET ``` 3. 执行打包命令： ```bash buildozer -v android debug ``` $\boxed{四、注意事项}$ 1. 语音识别适配： - Android需要添加麦克风权限 - Google语音服务需要网络连接 2. 平台差异处理： ```python # 修改执行命令部分 if platform == 'android': from jnius import autoclass Intent = autoclass('android.content.Intent') Uri = autoclass('android.net.Uri') PythonActivity = autoclass('org.kivy.android.PythonActivity') ``` 3. 语音引擎优化： ```python # 替换为跨平台兼容的TTS from plyer import tts tts.speak(message='您好') # 替代pyttsx3 ``` $\boxed{五、常见问题解决}$ 1. 如果遇到音频驱动错误： ```bash sudo apt-get install portaudio19-dev # Linux brew install portaudio # Mac ``` 2. 打包体积过大时： - 在.spec文件中排除不需要的库 - 使用UPX压缩工具 3. Android打包失败时： - 检查NDK/SDK路径配置 - 确保可用内存 > 4GB - 升级buildozer到最新版本 建议先在桌面端测试通过后再进行移动端打包。如果需要完整示例项目，我可以提供GitHub仓库地址供参考。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zy_destiny

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值