Python之多线程01_简介

最新推荐文章于 2024-06-07 10:49:04 发布
最新推荐文章于 2024-06-07 10:49:04 发布
阅读量559 收藏
点赞数
分类专栏： Python爬虫 文章标签： python java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44532250/article/details/122171063
版权

关于多线程

线程是什么？

线程是指进程内的一个执行单元,也是进程内的可调度实体.

与进程的区别:
(1) 地址空间:进程内的一个执行单元;进程至少有一个线程;它们共享进程的地址空间;而进程有自己独立的地址空间;
(2) 资源拥有:进程是资源分配和拥有的单位,同一个进程内的线程共享进程的资源
(3) 线程是处理器调度的基本单位,但进程不是.
(4) 二者均可并发执行.

简而言之,一个程序至少有一个进程,一个进程至少有一个线程.

线程的切换开销小于进程，使得多线程程序的并发性高。
另外，进程在执行过程中拥有独立的内存单元，而多个线程共享内存，从而极大地提高了程序的运行效率。

协程是什么？

我们知道操作系统在线程等待IO(内存、磁盘读写)的时候，会阻塞当前线程，切换到其它线程，这样在当前线程等待IO的过程中，其它线程可以继续执行。当系统线程较少的时候没有什么问题，但是当线程数量非常多的时候，却产生了问题。一是系统线程会占用非常多的内存空间，二是过多的线程切换会占用大量的系统时间。

协程刚好可以解决上述2个问题。协程运行在线程之上，当一个协程执行完成后，可以选择主动让出，让另一个协程运行在当前线程之上。协程并没有增加线程数量，只是在线程的基础之上通过分时复用的方式运行多个协程，而且协程的切换在用户态完成，切换的代价比线程从用户态到内核态的代价小很多。

它们之间的关系

在这里插入图片描述

并发类型

  • CPU密集型
    在运行时比较多使用CPU进行计算和处理
    如：下载数据，压缩解压
  • I/O密集型
    在运行时比较多使用I/O（磁盘/内存）读写
    如：爬取信息，导入数据库

多线程相关技术

在这里插入图片描述

Python速度比C/C++/Java慢

最低0.47元/天 解锁文章
前方的灯
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python3多线程传参_python多线程 怎么传送多个参数
weixin_39808803的博客
12-04 3051
对于python来说，作为解释型语言，Python的解释器必须做到既安全又高效。我们都知道多线程编程会遇到的问题，解释器要留意的是避免在不同的线程操作内部共享的数据，同时它还要保证在管理用户线程时保证总是有最大化的计算资源。而python是通过使用全局解释器锁来保护数据的安全性：python 代码的执行由python虚拟机来控制，即Python先把代码(.py文件)编译成字节码(字节码在Pytho...
python sqlite3 多线程_使用sqlite操作的Python多线程处理
weixin_42519214的博客
02-09 1721
我使用sqlite数据库来存储数据。我的python程序有一个包含5个线程的线程池。我创建了一个数据库连接，并与所有5个线程共享，但有时它会抛出异常，而这个异常不是由任何sqlite异常或泛型异常捕获的，我的python脚本会自动终止。在寻找解决办法之后，我遇到了How to share single SQLite connection in multi-threaded Python appli...
python flask 多线程_flask如何开启多线程详解
weixin_39559382的博客
12-10 5970
在我之前写的《flask中current_app、g、request、session源码的深究和理解》一文中解释了flask如何支持多线程主要通过两个类来实现,LocalStack和Local,在Local中有两个属性,__storage__和__ident_func__,后者用来获取线程id,从而区分不同线程发来的请求这次要说的是flask如何开启多线程先从app.run()这个方法看起def ...
python sqlite3 多线程_在python中多线程访问sqlite3数据库
weixin_32753181的博客
03-01 2775
Python标准库中有sqlite3模块，可见对此数据库的认可。不过，此模块在使用时也有限制，同一个数据库连接，不能在不同线程中共享。import threadingimport sqlite3sqlite_mutex = threading.Lock()db = sqlite3.connect('tdb2')def initdb():try:db.executescript("""create ...
python tornado多线程_tornado 使用多线程
weixin_28725037的博客
12-24 2369
前言tornado 线程支持非常不好, 我们更应该使用多进程, 而不是多线程. tornado 里面ioloop是一个单例, 也就是说全局只能有一个ioloop。传统的多线程为了让线程能并发处理更多事情, 我们会让每个线程用有独立的ioloop, 如果我们用libevent， 我们会为每一个线程创建一个event_base。tornado 如果我们要用多线程我们应该在主线程里面处理异步io事件, ...
python多线程操作列表_详解Python多线程下的list
weixin_39673051的博客
12-22 1681
list 是 Python 常用的几个基本数据类型之一.正常情况下我们会对 list 有增删改查的操作,显然易见不会有任何问题.那么如果我们试着在多线程下操作list 会有问题吗?多线程下的 list安全 or 不安全？ 不安全！通常我们说的线程安全是指针对某个数据结构的所有操作都是线程安全，在这种定义下，Python 常用的数据结构 list,dict,str等都是线程不安全的尽管多线程下的li...
python多线程请求接口_python多线程实现http请求
weixin_31443757的博客
12-29 3349
#!/usr/bin python2.6# -*- coding: utf-8 -*-import threading, datetime, time, httplib# 初始最大并发数START_THEAD_COUNT = 200# 递增并发数THREAD_INCREASE_STEP = 10# 域名DOMAIN = 'www.baidu.com'# 默认http请求METHOD = 'get'...
python 多线程卡死跳出_解决python线程卡死的问题
weixin_39615219的博客
02-09 2715
1. top命令和日志方式判定卡死的位置python代码忽然卡死，日志不输出，通过如下方式可以确定线程确实已经死掉了：# top 命令top命令可以看到机器上所有线程的执行情况，%CPU和%MEM可以看出线程消耗的资源情况由于机器上线程数量太多，可能要查看的线程的信息在top命令当前屏幕上显示不出来可以通过如下方式查看在top命令下输入:u接下来会提示输入用户名，就可以查看该用户所执行的所有线程W...
python的多线程
热门推荐
weixin_61805348的博客
05-28 7万+
python多线程 一、线程的概念 线程是CPU分配资源的基本单位。当一程序开始运行，这个程序就变成了一个进程，而一个进程相当于一个或者多个线程。当没有多线程编程时，一个进程相当于一个主线程；当有多线程编程时，一个进程包含多个线程（含主线程）。使用线程可以实现程序大的开发。 多个线程可以在同一个程序中运行，并且每一个线程完成不同的任务。 多线程实现后台服务程序可以同时处理多个任务，并不发生阻塞现象。 多线程的程序设计的特点就是能够提高程序执行效率和处理速度。python程序可以同时并行运行多个相对独立的线
python tqdm 多线程_python中的多线程和多进程
weixin_28788441的博客
12-23 1950
一、简单理解一下线程和进程一个进程中可有多个线程，线程之间可共享内存，进程间却是相互独立的。打比方就是，进程是火车，线程是火车厢，车厢内人员可以流动(数据共享)二、python中的多线程和多进程当遇到大文件读写或处理计算时，需要加速，则用上多线程和多进程，最常见的例子是网页爬虫，每次访问后等待时间很长，所以用了异步访问。先说结论，多线程适合IO密集型任务，多进程适合计算密集型任务。在python中...
PYthon-multithreading-Test.rar_python_python 多线程_python多线程_多线程
09-19
python 多线程测试 源码python 多线程测试 源码
python爬虫之多线程、多进程爬虫
02-24
多线程对爬虫的效率提高是非凡的，当我们使用python的多线程有几点是需要我们知道的：1.Python的多线程并不如java的多线程，其差异在于当python解释器开始执行任务时，受制于GIL(全局解释所)，Python的线程被限制到...
python 实现多线程下载视频的代码
01-21
代码： def thread(url): r = requests.get(url, headers=None, stream=True, timeout=30) # print(r.status_code, r.headers) headers = {} all_thread = 1 # 获取视频大小 file_size = int(r.headers['...
python多线程接口案例
12-21
项目为某内控公司要求并发测试，编写多线程访问接口，并生成Excel报告的脚本，记录基本步骤。 若有需要写UI自动化，接口自动化，多线程，服务器测试定时脚本等等，可联系本工具熊。 分五步操作实现50个或更多用户...
python3爬虫中多线程的优势总结
01-19
当然是多线程的优势已经掩盖了它本身不足之处，所以我们来加强一下学习python多线程的信心吧~ 总结起来，使用多线程编程具有如下几个优点： 进程之间不能共享内存，但线程之间共享内存非常容易。 操作系统在创建进程...
python的line[:-1]和line[-1]
最新发布
changzi990的博客
06-07 319
到此这篇关于详解python中[-1]、[:-1]、[::-1]、[n::-1]使用方法的文章就介绍到这了,更多相关python[-1]、[:-1]、[::-1]、[n::-1]内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！[2::-1]代表从下标从0到2的三个数，逆序取。[m : ] 代表列表中的第m+1项到最后一项。[1:]代表从下标为1开始取到最后一个数。[::-1]代表逆序取，从后向前取。[-1] 代表去到最后一项。结果为：'edcba'结果为：'abcd'
算法-找出N个数组的共同元素
Python领域优质萌新创作者
06-02 585
3.1、使用集合的intersection_update方法，将当前编辑的新闻编号集合与common_news_set取交集，并更新common_news_set。1.1、使用集合的交集操作找出被所有编辑共同编辑过的新闻：遍历每个新闻集合进行交集操作，时间复杂度为O(K)，其中K为所有编辑操作的总数。3.2、这样，common_news_set中将保留与当前编辑共同编辑过的新闻编号，即找到所有编辑共同编辑过的新闻编号的交集。news_ids: 一个包含N个列表的列表，每个列表包含一个编辑编辑过的新闻编号。
Python热重载调试新利器
weixin_53707653的博客
06-03 969
Reloading是一个Python工具库，它让我们可以在每次迭代之前从源代码中重新加载（或函数）而不丢失任何当前已执行过程。该工具对于在深度学习模型训练期间编辑源代码尤其好用，它让我们可以添加日志记录、打印统计数据或保存模型，而无需重新启动训练。
Python自动化脚本：文件分类
svygh123的专栏
06-01 599
要使用Python根据文件类型进行分类，可以遍历指定目录下的所有文件，检查每个文件的扩展名，然后根据扩展名将文件移动到对应的文件夹中。
python多线程实例_Python多线程实例
08-16
### 回答1： 很抱歉，我之前回答的还是这个问题。以下是一个稍微复杂一点的 Python 多线程实例，可以用来计算一个矩阵的乘积： ```python import threading import numpy as np # 定义矩阵的大小 MATRIX_SIZE = 1000 # 初始化两个随机矩阵 matrix_a = np.random.rand(MATRIX_SIZE, MATRIX_SIZE) matrix_b = np.random.rand(MATRIX_SIZE, MATRIX_SIZE) # 初始化结果矩阵 result_matrix = np.zeros((MATRIX_SIZE, MATRIX_SIZE)) # 定义一个函数，用来计算矩阵的乘积 def multiply(start, end): for i in range(start, end): for j in range(MATRIX_SIZE): for k in range(MATRIX_SIZE): result_matrix[i][j] += matrix_a[i][k] * matrix_b[k][j] # 定义线程数量 NUM_THREADS = 4 # 计算每个线程需要计算的行数 rows_per_thread = MATRIX_SIZE // NUM_THREADS # 创建线程列表 threads = [] # 启动线程 for i in range(NUM_THREADS): start = i * rows_per_thread end = (i + 1) * rows_per_thread t = threading.Thread(target=multiply, args=(start, end)) threads.append(t) t.start() # 等待所有线程结束 for t in threads: t.join() # 检查结果是否正确 expected_result = np.dot(matrix_a, matrix_b) assert np.array_equal(result_matrix, expected_result) # 输出 Done 表示程序执行完毕 print("Done") ``` 这个例子首先初始化两个随机矩阵，然后定义一个函数 multiply，用来计算这两个矩阵的乘积。然后，它将矩阵分成若干个部分，每个部分分配给一个线程来计算。最后，它等待所有线程结束，检查结果是否正确，并输出 Done 表示程序执行完毕。 希望这个例子能够帮助您更好地理解 Python 多线程的使用方法。 ### 回答2： Python多线程实例是指在Python编程语言中使用多线程进行并发编程的实例。在Python中，可以使用内置的threading模块来创建和管理多线程。 通过创建多线程，可以在程序中同时执行多个任务。这对于需要同时处理多个任务的情况非常有用。例如，在下载大文件时，可以使用多线程同时下载多个文件，加快下载速度。此外，多线程还可以用于处理网络请求、图像处理、数据处理等耗时操作，提高程序的运行效率。 使用Python多线程的主要步骤如下： 1. 导入threading模块。 ``` import threading ``` 2. 创建一个线程对象，可以通过继承threading.Thread类或使用threading.Thread()函数创建。 ``` class MyThread(threading.Thread): def __init__(self, name): super().__init__() self.name = name def run(self): # 线程执行的代码 print("Hello, " + self.name) thread1 = MyThread("Thread 1") thread2 = threading.Thread(target=func, args=("Thread 2",)) ``` 3. 启动线程。 ``` thread1.start() thread2.start() ``` 4. 等待线程结束。 ``` thread1.join() thread2.join() ``` 以上代码演示了两种创建多线程的方法：1）继承threading.Thread类，重写run方法；2）使用函数作为线程的执行内容。线程的启动调用start()方法，等待线程结束使用join()方法。 需要注意的是，Python多线程的并发程度受到全局解释器锁（GIL）的限制，因此对于计算密集型的任务，多线程并不能发挥出多核的优势。如果需要发挥多核性能，可以考虑使用多进程编程。 总之，Python多线程实例能够提高程序的并发处理能力，适用于需要同时处理多个任务的场景。通过合理设计线程的数量和任务分配，可以提高程序的性能和效率。 ### 回答3： Python多线程实例是指通过使用多线程的技术来提高Python程序的运行效率和性能。在Python中，我们可以使用threading模块来实现多线程。 多线程技术可以同时执行多个任务，提高程序的运行速度。在Python中，我们可以通过创建Thread对象并调用start()方法来启动一个线程。下面是一个简单的例子： import threading def print_numbers(): for i in range(1, 11): print(i) def print_letters(): for letter in ['A', 'B', 'C', 'D', 'E']: print(letter) # 创建两个线程 t1 = threading.Thread(target=print_numbers) t2 = threading.Thread(target=print_letters) # 启动两个线程 t1.start() t2.start() # 等待两个线程结束 t1.join() t2.join() # 主线程继续执行 print("主线程结束") 以上代码中，我们创建了两个线程，分别执行print_numbers()和print_letters()函数。通过调用start()方法启动线程，并通过join()方法等待两个线程执行完毕。最后，主线程继续执行并打印出一段文字。 需要注意的是，多线程并不一定能提高程序的运行速度，因为在Python中，全局解释器锁（Global Interpreter Lock，GIL）会限制同一时间只能有一个线程执行Python字节码。因此，在CPU密集型任务中，多线程并不能真正实现并行计算。但是，在IO密集型任务中，多线程能够提高程序的运行效率。 总结起来，Python的多线程实例可以通过使用threading模块来实现。多线程能够提高IO密集型任务的运行效率，但在CPU密集型任务中并不能真正实现并行计算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值