Python-多线程与并行计算

Python-多线程与并行计算

饿死我了。。。。今天看图像处理cuda的时候看到了并行计算，又恰巧参加第二届CCF举办CCSP比赛的时候，第五题是可以并行计算的。。。在赛后分享上，听清华大佬讲得栩栩如生，我听得一愣一愣的。真的是嘴上笑嘻嘻，心理妈卖批。不过还是比较羡慕他们怎么懂这么多，竞赛也这么强。扯远了，由于C++太繁琐，今天只是浅尝辄止用Python搜集了下资料，顺便跑了下。

科普开始。。。。。Loading

并行计算和多线程的区别

1，很明显并行比多线程具有更高的CPU利用率，因此效率相对更高；
2，并行是利用CPU的多个核进行计算，而多线程是利用CPU一个核在不同时间段内进行计算。
3，并行计算式多个线程运行在多个cpu上， 多线程是多个线程运行在一个cpu上， 并行计算基本是依赖多线程的。
4，多线程是一个线程只能运行在一个CPU，多个线程可以运行在多个CPU；并行计算是一个线程可以运行在多个CPU。

上述讲得很清晰，说白了，并行计算有多个线程和多个进程来实现。其中并行计算可以在多核上运行，多CPU(联机，分布式)上运行。多线程则只能在单个CPU跑，通过信号量，互斥锁来实现并发。做软件的时候，UI设计通常不同按钮要分发给不同的线程。因为你点击这个按钮的时候，窗口资源你在用，如果没有执行完，你立马点击下一个按钮，这就会产生死锁，程序奔溃。所以得分发给不同的线程，让他们同步运行。

进程与线程优缺点  

进程优点：编程、调试简单，可靠性较高。
进程缺点：创建、销毁、切换速度慢，内存、资源占用大。
线程优点：创建、销毁、切换速度快，内存、资源占用小。
线程缺点：编程、调试复杂，可靠性较差。

场景使用  

a.多核CPU——计算密集型任务。此时要尽量使用多进程，可以提高任务执行效率，例如加密解密，数据压缩解压缩（视频、音频、普通数据），否则只能使一个核心满载，而其他核心闲置。
d.多核CPU——IO密集型任务，这就更不用说了，跟单核时候原因一样
同样在这个单核时代，多线程的这个消除阻塞的作用还可以叫做“并发”，这和并行是有着本质的不同的。并发是“伪并行”，看似并行，而实际上还是一个CPU在执行一切事物，只是切换的太快，我们没法察觉罢了。例如基于UI的程序（俗话说就是图形界面），如果你点一个按钮触发的事件需要执行10秒钟，那么这个程序就会假死，因为程序在忙着执行，没空搭理用户的其他操作；而如果你把这个按钮触发的函数赋给一个线程，然后启动线程去执行，那么程序就不会假死，继续相应用户的其他操作。但是，随之而来的就是线程的互斥和同步、死锁等问题

特别：线程必然不是越多越好，线程切换也是要开销的，当你增加一个线程的时候，增加的额外开销要小于该线程能够消除的阻塞时间，这才叫物有所值。

总结

并发：

一、多进程并发
对于计算密集型程序，多进程并发优于多线程并发。密集型程序是运行时间大部分消耗在CPU的运算了。
而硬盘和内存的读写消耗时间很多；相对地，IO密集型程序是指程序运行大部分消耗在硬盘了，CPU的运算时间很短。
1.1采用队列实现-使用multiprocessing.JoinableQueue
1.2进程池实现-使用concurrent.futures.ProcessPoolExecutor
二、多线程并发
对于IO密集型程序多线程并发可能要优于多进程并发。
2.1 队列实现-使用使用queue.Queue
2.2 线程池实现-concurrent.futures.ThreadPoolExecutor