Joblib包在执行python多线程时碰到的问题

weixin_44197038

于 2020-09-18 10:15:11 发布

阅读量420

点赞数

分类专栏： scikit-learn 文章标签： python 多线程 cpu thread

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_44197038/article/details/108659919

版权

scikit-learn 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Joblib包在执行python多线程时碰到的问题

最近在给scikit-learn进行功能扩展，遇到了一些问题，之前在python3.5环境下多线程执行得好好的，开几个线程用几个cpu，转到python3.7之后，就不行了，说好的开一个线程的，服务器cpu占用直接拉满。多方查证之后发现是使用的是joblib包中的Parallel配合delayed实现的多线程，被执行多线程的函数里面还有一个for循环

weixin_44197038

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
**Joblib**包在执行python多线程时碰到的问题

Joblib包在执行python多线程时碰到的问题最近在给scikit-learn进行功能扩展，遇到了一些问题，之前在python3.5环境下多线程执行得好好的，开几个线程用几个cpu，转到python3.7之后，就不行了，说好的开一个线程的，服务器cpu占用直接拉满。多方查证之后发现是使用的是joblib包中的Parallel配合delayed实现的多线程，被执行多线程的函数里面还有一个for循环...
复制链接

扫一扫

专栏目录

weixin_44197038 CSDN认证博客专家 CSDN认证企业博客

码龄6年

2: 原创

203万+: 周排名

94万+: 总排名

926: 访问

: 等级

42: 积分

0: 粉丝

1: 获赞

2: 评论

1: 收藏

私信

关注

热门文章

分类专栏

scikit-learn 1篇

最新评论

【解决】windows安装pycrypto出错问题。error C2061: 语法错误: 标识符“rem”
CSDN-Ada助手: 非常感谢您的分享和解决方案！看到您写的博客标题和摘要，我对您的解决问题的能力感到非常钦佩。希望您能继续分享您的经验和知识，对其他人也会有很大帮助。除了解决这个特定问题外，您可能还想了解一些其他和pycrypto相关的知识和技能。比如，您可以了解如何使用pycrypto进行数据加密和解密，了解它在网络安全领域的应用，或者探索一些其他的加密算法和工具，如OpenSSL等。这些扩展知识和技能可能会进一步提升您的技术水平和解决问题的能力。再次感谢您的分享，期待您更多的博客文章！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2
**Joblib**包在执行python多线程时碰到的问题
CSDN-Ada助手: 非常感谢您分享关于Joblib包在执行python多线程时碰到的问题的博客！我觉得您可以继续写一篇关于如何优化Python多线程程序的技术文章，包括如何选择合适的并发库、如何避免线程安全问题、如何调试多线程程序等。这样的技术文章对其他用户也会非常有帮助，相信会有更多读者受益于您的分享！期待您的下一篇文章。为了方便博主创作，提高生产力，CSDN上线了AI写作助手功能，就在创作编辑器右侧哦～（https://mp.csdn.net/edit?utm_source=blog_comment_recall ）诚邀您来加入测评，到此（https://activity.csdn.net/creatActivity?id=10450&utm_source=blog_comment_recall）发布测评文章即可获得「话题勋章」，同时还有机会拿定制奖牌。

最新文章

【解决】windows安装pycrypto出错问题。error C2061: 语法错误: 标识符“rem”

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。