python之多线程并发

前言

今天呢笔者想和大家来聊聊python多线程的并发,废话就不多说了咱们直接进入主题哟。

 

一、线程执行

python的内置模块提供了两个内置模块:thread和threading,thread是源生模块,threading是扩展模块,在thread的基础上进行了封装及改进。所以只需要使用threading这个模块就能完成并发的测试

实例

创建并启动一个单线程

import threading


def myTestFunc():
    print("我是一个函数")

t = threading.Thread(target=myTestFunc)  # 创建一个线程
t.start()  # 启动线程

执行结果

C:\Python36\python.exe D:/MyThreading/myThread.py
我是一个线程函数

Process finished with exit code 0

其实单线程的执行结果和单独执行某一个或者某一组函数结果是一样的,区别只在于用线程的方式执行函数,而线程是可以同时执行多个的,函数是不可以同时执行的。

二、多线程执行

上面介绍了单线程如何使用,多线程只需要通过循环创建多个线程,并循环启动线程执行就可以了

实例

import threading
from datetime import datetime


def thread_func():  # 线程函数
    print('我是一个线程函数', datetime.now())


def many_thread():
    threads = []
    for _ in range(10):  # 循环创建10个线程
        t = threading.Thread(target=thread_func)
        threads.append(t)
    for t in threads:  # 循环启动10个线程
        t.start()


if __name__ == '__main__':
    many_thread()

执行结果

C:\Python36\python.exe D:/MyThreading/manythread.py
我是一个线程函数 2022-06-23 16:54:58.205146
我是一个线程函数 2022-06-23 16:54:58.205146
我是一个线程函数 2022-06-23 16:54:58.206159
我是一个线程函数 2022-06-23 16:54:58.206159
我是一个线程函数 2022-06-23 16:54:58.206159
我是一个线程函数 2022-06-23 16:54:58.207139
我是一个线程函数 2022-06-23 16:54:58.207139
我是一个线程函数 2022-06-23 16:54:58.207139
我是一个线程函数 2022-06-23 16:54:58.208150
我是一个线程函数 2022-06-23 16:54:58.208150

Process finished with exit code 0

通过循环创建10个线程,并且执行了10次线程函数,但需要注意的是python的并发并非绝对意义上的同时处理,因为启动线程是通过循环启动的,还是有先后顺序的,通过执行结果的时间可以看出还是有细微的差异,但可以忽略不记。当然如果线程过多就会扩大这种差异。我们启动500个线程看下程序执行时间

实例

import threading
from datetime import datetime


def thread_func():  # 线程函数
    print('我是一个线程函数', datetime.now())


def many_thread():
    threads = []
    for _ in rang
  • 34
    点赞
  • 125
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫多线并发是指使用多个线程同时执行爬取任务,以提高爬取效率。通过并发执行,可以在同一时间内处理多个请求和响应,从而加快网页的下载和解析过程。 在Python中,可以使用多种方式实现爬虫的多线并发。其中一种常见的方式是使用`threading`模块创建线程并管理线程的执行。通过创建多个线程,每个线程负责执行一个爬取任务,可以同时进行多个任务的爬取,提高整体的效率。 另一种方式是使用线程池。线程池可以预先创建一定数量的线程,并将任务分发给这些线程进行执行。通过线程池,可以有效地管理线程的创建和销毁,避免频繁地创建和销毁线程带来的开销。 多线并发爬取的优点包括提高爬取效率、缩短爬取时间,同时还可以更好地利用计算机的多核处理能力。然而,需要注意的是,在进行多线并发爬取时,需要考虑线程安全性和资源竞争的问题,避免出现数据错乱或者死锁等问题。 总结来说,Python爬虫多线并发是一种提高爬取效率的方法,通过同时执行多个爬取任务,可以加快网页的下载和解析过程,从而更快地获取所需的数据。可以使用`threading`模块或线程池来实现多线并发,但需要注意线程安全性和资源竞争的问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Python并发编程相关及在爬虫实战中的使用](https://blog.csdn.net/weixin_44327634/article/details/123948849)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [python并发爬虫——多线程、线程池实现](https://blog.csdn.net/sixteen_16/article/details/116176587)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值