weixin_33125871的博客

原创 python中多进程并发多个进度条的实现

最近一个项目需要处理巨量的数据，为了加快处理速度，用上了多进程(python的多线程在cpu密集型应用下无法真正发回多线程的作用)，将数据数据分成多批，分别传入多个进程进行处理，而在每个子进程里，循环处理传进的数据中的每一条，为了看到处理进度，就想到用tqdm模块来显示进度条，但是在实现的过程中，发现如果每个子进程都建立一个tqdm进度条的话，进程间的进度条会相互覆盖，达不到同时显示的效果，即使用上position参数，进度条也会在不同的位置上跳来跳去，最后，灵光一闪，发现可以用Queue来实...