![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 53
python相关的文章
im_cheer
这个作者很懒,什么都没留下…
展开
-
在子进程中创建sharedMemory所导致的异常
为了防止内存泄露,目前的multiprocessing模块,当一个process在创建sharedMemory和semaphore时,如果父进程没有resource tracker,则会创建一个属于本process的resource tracker。这种pattern会导致一个问题,就是当使用multi process-multi consumer模型的时候,如果没在main process先初始化一个resource tracker,会导致不同的process有不同的tracker。这样会有什么问题呢原创 2022-05-03 17:21:05 · 592 阅读 · 0 评论 -
关于numpy的多线程计算
numpy在启动时默认会启动与逻辑cpu数量一致的计算线程,但是通过测试表明,这个线程的数量恐怕并不合适1.OMP_NUM_THREADS是openmp设置线程数的环境变量,openmp是numpy科学计算库openblas需要使用的2.关于OMP_NUM_THREADS对性能的影响,我自己对于我们的计算模块做了一些测试。设置不同的OMP_NUM_THREADS,这里仅列出几组数据。由于测试环境的cpu有40个逻辑核心,不设置时numpy的一个进程会产生40个线程。可以看到默认情况下有大量原创 2021-10-24 16:52:34 · 5507 阅读 · 1 评论