python多进程与多线程使用

「已注销」

已于 2022-07-30 15:40:27 修改

阅读量294

点赞数

分类专栏： python 文章标签： python

于 2022-07-30 14:59:43 首次发布

本文链接：https://blog.csdn.net/renyongzhe/article/details/126070384

版权

本文介绍了Python中的多线程和多进程，强调了它们的特点与适用场景。多线程适合I/O密集型任务，而多进程在计算密集型任务中表现出更高的效率。重点讲解了`multiprocessing`模块，包括进程池的使用和进程间共享对象的方法，如共享内存、Manager服务进程。同时提到了`concurrent.futures`模块作为更高级别的并发接口。最后，列举了多进程使用中可能遇到的问题及其解决方案。

摘要由CSDN通过智能技术生成

简介

关于多进程和多线程的详细介绍参考其他资料，这里仅列出一些显著特征，用于帮助实际使用时选择哪种方法。

多线程

多线程之间共享内存和变量；
创建线程总体资源消耗较低；
由于GIL锁，只能使用单核，性能一般较低，特殊情况甚至低于串行；
适用于I/O密集型任务，比如大量文件读写，网络请求（文件下载）等；

多进程

进程间无法直接共享内存，需要使用其他方法，否则内存消耗巨大；
创建进程总体资源消耗较高；
完全并发执行，效率高；
适用于计算密集型，充分利用多核CPU；

常用模块

以下以多进程为例。

multiprocessing

手动创建进程Process

def download(url):
	res = requests.get(url)
	return res
	
processes = []
for url in urls:
	processes.append(Process(target = download,args

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

「已注销」

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

python中多进程和多线程的配合使用

nfzhlk的专栏

08-09

9613

由于python的多线程中存在PIL锁，因此python的多线程不能利用多核，那么，由于现在的计算机是多核的，就不能充分利用计算机的多核资源。但是python中的多进程是可以跑在不同的cpu上的。因此，尝试了多进程+多线程的方式，来做一个任务。python的多线程适合IO密集型的场景，多进程适合计算密集型场景。

python多进程和多线程一起使用_Python 多进程和多线程

weixin_39827728的博客

11-29

126

Python中的多进程Process 逐个创建进程使用multiprocessing中的Process，其中start()代表启动进程，join()代表等待进程结束再执行后面代码程序。from multiprocessing import Processfrom time import time,sleepdef func(arg):time.sleep(6)return argdef main(...

参与评论您还未登录，请先登录后发表或查看评论

Android | Android应用进程的生命周期

cyc的专栏

08-12

2926

在Android系统中，一个应用进程的生命不是由应用自己直接控制的，而是由系统决定的。系统根据应用运行的组件、对用户的重要程度和系统当前可用内存的大小共同决定一个应用进程的生命。了解不同的应用组件（特别是Activity、Service和BroadcastReceiver）如何影响应用进程的生命，对于一个Android开发人员来说极其重要。没有正确地使用这些组件可能会造成应用进程在执行重要工作时被系统杀死。

python多进程和多线程一起使用_多进程与多线程，python程序实例

weixin_39890633的博客

11-29

178

eventlet 是基于 greenlet 实现的面向网络应用的并发处理框架，提供“线程”池、队列等与其他 Python 线程、进程模型非常相似的 api，并且提供了对 Python 发行版自带库及其他模块的超轻量并发适应性调整方法，比直接使用 greenlet 要方便得多。其基本原理是调整 Python 的 socket 调用，当发生阻塞时则切换到其他 greenlet 执行，这样来保证资源的有...

python多进程多线程的使用

_Tsun 的博客

03-21

1121

GIL 全局解释器锁 cpython解释器有，pypy解释器就没有GIL。 GIL使得同一时刻，只有一个线程在cpu上执行字节码也无法将多个线程映射到多个cpu上 import dis def add(a): a = a + 1 return a print(dis.dis(add)) """ 多线程的时候，一个线程执行了一定的字节码后，会释放GIL锁其他的线程，会有一个占用这个GI...

Python多进程并发与多线程并发编程实例总结

09-20

Python多进程并发与多线程并发编程实例总结深入探讨了Python中多进程和多线程的并发编程技术，这些技术允许程序同时执行多个任务，以提高效率和响应速度。以下是知识点的总结： 1. 并发编程概念： - 并发编程是让...

Python控制多进程与多线程并发数总结

09-21

### Python控制多进程与多线程并发数总结 #### 一、前言在实际开发过程中，为了提高程序运行效率，经常会用到并发编程技术。本文将深入探讨Python中的多进程与多线程并发控制技术，并通过具体示例来讲解如何有效...

python多进程和多线程一起使用_Python干货：多进程与多线程！

weixin_30325929的博客

01-29

2836

今天我们来聊聊Python里面的多进程与多线程编程模式。01 多线程工作在开始讲今天的正文之前，先给大家介绍一个概念「多线程工作」，这个概念可能有的人听过，也可能有的人平常工作中就是这么做的。我再来给大家讲讲这个概念，所谓的「多线程工作」就是同时做好几件事情。拿我个人工作中例子来说，当我用Sql跑数的时候，数据不可能一下子就导出来，我会在一个屏幕上显示Sql运行进度，在另一个屏幕上先做一会PPT，...

python多进程和多线程一起使用_Python：多进程和多线程

weixin_42131342的博客

02-10

862

在现实社会，我们经常需要一种场景，就是同时有多个事情需要执行，如在浏览网页的同时需要听音乐。比如说在跳舞的时候要唱歌。同样的，在程序中我们也可能需要这种场景。如下面我们以同时听音乐和浏览网页为例。def network():while True:print("正在上网~~~")time.sleep(1)def sing():while True:print("正在听歌……")time.sleep(...

Python——多线程与多进程

wxsy024680的博客

07-13

4879

1、多线程 当有多个线程，并且在这个几个线程中都会去调用deposit，就有可能同时操作这个bank对象，就有可能出一个线程覆盖另外一个线程的结果的问题。这时，可以使用 threading库里面的锁对象 Lock 去保护。 from threading import Thread,Lock from time import sleep bank = { 'byhy' : 0 } bankLock = Lock() # 定义一个函数，作为新线程执行的入口函数 def deposit(theadi

python并发技术实现（多线程、多进程）

12-07

压缩包内包含四个文件，实现的效果都是通过多线程或多进程执行加法运算； multiprocess_queue，通过任务队列方式实现多进程任务；(multiprocessing模块） multithread_queue，通过任务队列方式实现多线程任务；（threading模块） multiprocess_pool，通过进程池方式实现多进程任务；（concurrent.futures模块） multithread_pool，通过线程池方式实现多线程任务；（concurrent.futures模块）

Python多进程fork()函数详解

01-20

进程进程是程序的一次动态执行过程，它对应了从代码加载、执行到执行完毕的一个完整过程。进程是系统进行资源分配和调度的一个独立单位。进程是由代码（堆栈段）、数据（数据段）、内核状态和一组寄存器组成。在多任务操作系统中，通过运行多个进程来并发地执行多个任务。由于每个线程都是一个能独立执行自身指令的不同控制流，因此一个包含多个线程的进程也能够实现进程内多任务的并发执行。进程是一个内核级的实体，进程结构的所有成分都在内核空间中，一个用户程序不能直接访问这些数据。进程的状态：创建、准备、运行、阻塞、结束。进程间的通信方式可以有：文件管道 socket 信号信号量

python 多线程及多进程应用

MusicDancing的博客

01-25

739

1. threading 模块 1. 1 Thread 类常见函数 # 开始线程 start() # 定义线程功能函数（一般会被子类重写） run() # 程序挂起，直到线程结束；timeout指定最多阻塞多少秒 join(timeout=None) # 获得线程名字 getName() # 设置线程名字 setName(name) # 判断线程是否在运行中 isAlive() # 是否为守护进程 isDaemon() # 设置守护进程 setDaemon() 只有在要等待线程结束的时候才调用jio

python 多进程

weixin_30349597的博客

04-08

262

python3.6 多进程 多进程 Table of Contents 1. 多进程 1.1. linux/unix/win 启动方式对比 1.1.1. spawn win的默认方法,支持unix/win 1.1.2. fork unix的默认方法,仅支持unix 1.1.3. forkserver 当平台支持unix的管道文件时该方法可用 1...

关于python的多进程的一些细节

m0_38043555的博客

11-14

719

不同平台的区别在 windows平台，python是使用spawn方式创建子进程，即导入当前的脚本作为module运行。在linux平台，则是以fork的方式创建子进程，父进程会拷贝当前的进程信息给子进程，子进程和父进程在异步继续执行。这两种方式的不同，会导致我们在写代码时需要注意一些细节，对于spawn方式，由于子进程是重新导入一份脚本，所以创建子进程之前的代码也有可能被子进程执行，导致子进程又创建子进程，会出错。我们需要加入if name == 'main’来规避这种意外，即将只希望主进程执行的代

Python 多进程编程《一》：创建进程的三种模式

weixin_44815943的博客

08-17

1939

进程是操作系统分配资源的最小单位，进程之间是相互隔离的，一般一个应用程序就对应一个进程。进程中可以包含多个线程，同一进程内的多线程可以共享进程内的部分资源。由于进程之间有隔离机制，因此在并发编程中，进程之间更加注重通信（或者说资源共享），而多线程编程更加注重线程同步（协同执行）。Python中有 spawn、fork、forkserver 三种创建子进程的模式，创建子进程的模式与操作系统密切相关，不同模式下创建的子进程，所具有的共享资源有所差异。...

Python多线程、多进程最全整理

idol24的博客

04-01

485

作者：钱魏Way来源：https://www.biaodianfu.com/python-multi-thread-and-multi-process.html在学习Python的过程中，有接触到多线程编程相关的知识点，先前一直都没有彻底的搞明白。今天准备花一些时间，把里面的细节尽可能的梳理清楚。线程与进程的区别进程（process）和线程（thread）是操作系统的基本...

【python知识】多进程专题（2）

gongdiwudu的专栏

09-18

6566

多处理是一个支持使用类似于线程模块的 API 生成进程的包。多处理包提供本地和远程并发，通过使用子进程而不是线程来有效地避开全局解释器锁。因此，多处理模块允许程序员充分利用给定机器上的多个处理器。它可以在 Unix 和 Windows 上运行。

PyTorch多进程模型推理