python 并发之 多线程处理IO操作

文章目录

方法1

from threading import Thread

t = Thread(target=func, args=(1,))
t.start()

方法2

from threading import Thread

class MyThread(Thread):
	def __init__(self, sid):
	self.sid = sid
	Thread.__init__(self)

	def run(self):
		handle(self.sid)

threads = []
for i in range(1, 11):
	t = MyThead(1)
	threads.append(t)
	t.start()


for t in threads:
	t.join()  # 阻塞函数

方法3

import threadpool

def run(arg):
	"""
	主函数
	"""
	return arg

# 参数列表
args = [a1, a2, a3, a4, a5]


# 使用多线程启动
pool = threadpool.ThreadPool(10) #启动10个线程
requests = threadpool.makeRequests(run, args)
[pool.putRequest(req) for req in requests]
pool.wait()

当函数有多个参数的情况,函数调用时第一个解包list,第二个解包dict,所以可以这样

def hello(m, n, o):
    """"""
    print "m = %s, n = %s, o = %s"%(m, n, o)
     
 
if __name__ == '__main__':
     
   # 方法1  
    lst_vars_1 = ['1', '2', '3']
    lst_vars_2 = ['4', '5', '6']
    func_var = [(lst_vars_1, None), (lst_vars_2, None)]
    # 方法2
    dict_vars_1 = {'m':'1', 'n':'2', 'o':'3'}
    dict_vars_2 = {'m':'4', 'n':'5', 'o':'6'}
    func_var = [(None, dict_vars_1), (None, dict_vars_2)]    
     
    pool = threadpool.ThreadPool(2)
    requests = threadpool.makeRequests(hello, func_var)
    [pool.putRequest(req) for req in requests]
    pool.wait()

加上进度条

import concurrent.futures
from tqdm import tqdm
import time
def f(x):
    time.sleep(0.001) # to visualize the progress
    return x**2

def run(f, my_iter):
    with concurrent.futures.ThreadPoolExecutor() as executor:
        results = list(tqdm(executor.map(f, my_iter), total=len(my_iter)))
    return results

my_iter = range(100000)

run(f, my_iter)
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
### 回答1: Python多线程并发是指在一个进程中同时运行多个线程,以提高程序的执行效率和响应速度。Python中的多线程是基于操作系统的线程实现的,一个Python线程会对应一个操作系统线程。Python提供了多个模块来支持多线程编程,其中最常用的是`threading`模块。 使用`threading`模块创建一个线程非常简单,只需要定义一个函数作为线程的执行体,然后创建一个`Thread`对象并调用它的`start()`方法即可。下面是一个简单的示例代码: ```python import threading def worker(): print('Worker thread is running') t = threading.Thread(target=worker) t.start() ``` 这个程序创建了一个名为`worker`的函数作为线程的执行体,然后创建了一个`Thread`对象`t`,并调用了`t.start()`方法启动线程。当线程启动后,它会自动调用`worker`函数执行线程任务。 除了`Thread`类之外,Python还提供了一些同步原语,如`Lock`、`Event`、`Condition`等,可以用来协调多个线程之间的操作。使用这些同步原语可以避免多个线程同时访问共享资源导致的竞态条件和数据不一致等问题。 在使用多线程时,需要注意线程安全问题。多个线程同时对同一个共享变量进行读写操作时,可能会产生数据不一致、竞态条件等问题。为了避免这些问题,可以使用一些同步机制来保护共享变量的访问,如使用`Lock`来保证同一时刻只有一个线程能够访问共享变量。 ### 回答2: Python多线程并发是指在Python程序中使用多个线程同时执行任务的一种方式。在传统的单线程程序中,任务是顺序执行的,即一个任务执行完毕后,才能执行下一个任务。而在多线程并发中,多个任务可以同时执行,不需要等待前一个任务执行完毕才能执行下一个任务。 Python多线程并发是通过threading模块来实现的。通过创建多个线程对象,每个线程对象执行一个任务,可以实现多线程并发多线程并发可以提高程序的执行效率,尤其在处理一些耗时任务时,多线程可以同时执行多个任务,节省了等待时间。 然而,Python多线程并发也存在一些限制。由于Python的全局解释锁(GIL)机制,每个线程在执行时只能使用一个核心,无法充分利用多核处理器的优势。这就意味着,对于计算密集型的任务,多线程并发可能并不能提高速度。但是对于I/O密集型的任务,如文件读写、网络通信等,多线程并发可以显著提高程序的性能。 在编写多线程并发的程序时,需要注意线程之间的同步问题。多个线程可能会同时访问共享的资源,如果没有正确地进行同步,会引发线程安全问题,如数据竞争、死锁等。在Python中,可以使用锁、条件变量等同步工具来解决这些问题。 总之,多线程并发是一种提高程序性能的方法,可以实现多任务同时执行。但要注意线程安全性和GIL的限制,选择合适的情况下使用多线程并发。 ### 回答3: Python多线程并发是指在同一时间内,程序中多个线程能够同时运行并执行不同的任务。Python提供了多线程的库,如`threading`,可以通过创建多个线程来实现并发执行。 使用多线程并发有以下几个优点: 1. 提高程序的效率:多线程允许多个任务同时执行,可以充分利用多核处理器的计算能力,以提高程序的效率和响应速度。 2. 提高资源利用率:多线程并发可以有效地利用CPU资源,使其不再空闲,避免因为等待IO操作而浪费时间。 3. 改善用户体验:多线程能够将一些耗时的任务放到后台执行,以提供更好的用户体验,如在图形界面应用中,通过多线程进行网络请求,可以避免阻塞主界面。 4. 实现复杂性:多线程并发可以更容易地实现一些复杂的逻辑,如同时处理多个网络请求、同时获取多个数据源等。 但是,Python中的多线程并发有一些需要注意的地方: 1. 全局解释器锁(GIL):由于GIL的存在,Python中的多线程并不能实现真正的并行执行,因为在同一时间只有一个线程可以执行Python字节码。因此,对于需要CPU密集型的任务,多线程并发并不能显著提升性能。 2. 线程安全问题:多线程并发时,多个线程同时访问共享资源可能引发数据竞争和线程安全问题,需要通过锁(Lock)或其他同步机制来解决。 总的来说,Python多线程并发处理IO密集型任务、提高用户体验和利用多核处理器等方面具有优势,但对于CPU密集型任务需要考虑全局解释器锁的影响。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值