进程线程的区别
进程和线程都可以批量处理,在工作模式中不尽相同。
开启多进程,进程之间数据不共享,相互独立,可以充分使用CPU多核资源,缺点是进程开启比线程更消耗资源。
python中多线程,线程之间数据可以共享。python的官方python版本为CPython,存在GIL全局解释器锁问题。每个线程在运行时都需要先获取GIL许可。GIL只能在同一时间,执行一个线程。 这个问题是C语言解释器的问题,与Python本身无关。
线程释放GIL锁的情况,当IO操作可能会引起阻塞,会暂时释放GIL锁,或者执行时间计数器达到阈值时。
在python多线程任务中,多线程仍然只使用了一个单核CPU资源,各个线程之间由CPU分配时间运行,不能同时执行,同一时间只运行一个线程。
多线程的模式下,在IO密集型的程序中,由于交换数据需要CPU等待时间,在数据等待环节,单线程任务会阻塞,等待数据交换完成后才能往下执行,当开启多线程后,虽然同一时间只能执行一个线程,但是在数据等待环节,可以执行下一个线程,提高CUP使用率。
如果要真正实现批量任务,需要使用进程而不是线程。
python提高多线程的方法
方式1:采用多进程
方式2:在开启线程时,使用其他语言嵌入