python多线程模块threading学习笔记(3)之Queue的使用

最新推荐文章于 2023-02-28 22:07:23 发布
最新推荐文章于 2023-02-28 22:07:23 发布
阅读量689 收藏
点赞数
分类专栏： Python基础实验 莫烦Python 多线程学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46653437/article/details/115518050
版权

参考链接: 【莫烦Python】Threading 学会多线程 Python
参考链接: 莫烦 多线程
参考链接: threading — 基于线程的并行
参考链接: queue — 一个同步的队列类

testThreading4_1.py

# 教学视频第4集
import threading
import time
from queue import Queue

def job(l,q):
    for i in range (len(l)):
        l[i] = l[i]**2
    q.put(l)

def multithreading():
    q =Queue()
    threads = []
    data = [[1,2,3],[3,4,5],[4,4,4],[5,5,5]]
    for i in range(4):
        t = threading.Thread(target=job,args=(data[i],q))
        t.start()
        threads.append(t)
    for thread in threads:
        # thread.start()
        thread.join()
    results = []
    for _ in range(4):
        results.append(q.get())
    print(results)

if __name__=='__main__':
    multithreading()

r'''
输出结果:
[[1, 4, 9], [9, 16, 25], [16, 16, 16], [25, 25, 25]]
'''

debug下观察中间结果:

在这里插入图片描述
testThreading4_1_2.py

# 教学视频第4集
import threading
import time
from queue import Queue

def job(l,q):
    for i in range (len(l)):
        l[i] = l[i]**2
        time.sleep(1.1)
    q.put(l)

def multithreading():
    q =Queue()
    threads = []
    data = [[1,2,3],[3,4,5],[4,4,4],[5,5,5]]
    for i in range(4):
        t = threading.Thread(target=job,args=(data[i],q))
        t.start()
        threads.append(t)
    for thread in threads:
        # thread.start()
        thread.join()
    results = []
    for _ in range(4):
        results.append(q.get())
    print(results)

if __name__=='__main__':
    multithreading()

r'''
输出结果:
[[1, 4, 9], [9, 16, 25], [16, 16, 16], [25, 25, 25]]
'''

注意输出结果顺序的不确定性:
在这里插入图片描述

Windows PowerShell

尝试新的跨平台 PowerShell https://aka.ms/pscore6

(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>  & 'D:\Python\Python37\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '57636' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程\testThreading4_1.py'
[[1, 4, 9], [9, 16, 25], [16, 16, 16], [25, 25, 25]]
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程'; & 'D:\Python\Python37\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '57642' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程\testThreading4_1.py'
[[9, 16, 25], [1, 4, 9], [16, 16, 16], [25, 25, 25]]
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程'; & 'D:\Python\Python37\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '57646' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程\testThreading4_1.py'
[[9, 16, 25], [1, 4, 9], [16, 16, 16], [25, 25, 25]]
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>

testThreading4_2.py

# 教学视频第4集
import threading
import time
from queue import Queue

def job(l,q):
    for i in range (len(l)):
        l[i] = l[i]**2
    q.put(l)

def multithreading():
    q =Queue()
    threads = []
    data = [[1,2,3],[3,4,5],[4,4,4],[5,5,5]]
    for i in range(4):
        t = threading.Thread(target=job,args=(data[i],q))
        # t.start()
        threads.append(t)
    for thread in threads:
        thread.start()
        thread.join()
    results = []
    for _ in range(4):
        results.append(q.get())
    print(results)

if __name__=='__main__':
    multithreading()

r'''
输出结果:
[[1, 4, 9], [9, 16, 25], [16, 16, 16], [25, 25, 25]]
'''

debug下观察中间结果:

在这里插入图片描述

testThreading4_3.py(不使用queue.Queue,而是只使用列表):

# 教学视频第4集
import threading
import time
# from queue import Queue

def job(data,i,q):
    l = data[i]
    for i in range (len(l)):
        l[i] = l[i]**2
        time.sleep(1.0)
    q.append(l)

def multithreading():
    # q =Queue()
    q = list()
    threads = []
    data = [[1.2,2,3],[3,4,5],[4,4,4],[5,5,5]]
    for i in range(4):
        t = threading.Thread(target=job,args=(data,i,q))
        t.start()
        threads.append(t)
    for thread in threads:
        # thread.start()
        thread.join()
    results = []
    for _ in range(4):
        results.append(q[_])
    print(results)

if __name__=='__main__':
    multithreading()

r'''
输出结果:
[[16, 16, 16], [1.44, 4, 9], [9, 16, 25], [25, 25, 25]]
'''

控制台下输出,注意列表输出顺序会打乱.

在这里插入图片描述

debug下观察中间结果:

在这里插入图片描述

注意结果的不确定性:testThreading4_1_2.py

# 教学视频第4集
import threading
import time
from queue import Queue

def job(l,q):
    for i in range (len(l)):
        l[i] = l[i]**2
        time.sleep(1.1)
    q.put(l)

def multithreading():
    q =Queue()
    threads = []
    data = [[1,2,3],[3,4,5],[4,4,4],[5,5,5]]
    for i in range(4):
        t = threading.Thread(target=job,args=(data[i],q))
        t.start()
        threads.append(t)
    for thread in threads:
        # thread.start()
        thread.join()
    results = []
    for _ in range(4):
        results.append(q.get())
    print(results)

if __name__=='__main__':
    multithreading()

r'''
输出结果:
[[16, 16, 16], [9, 16, 25], [1, 4, 9], [25, 25, 25]]
'''

控制台下输出:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 823 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>  & 'D:\Python\Python37\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '58627' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程\testThreading4_1.py'
[[16, 16, 16], [9, 16, 25], [1, 4, 9], [25, 25, 25]]
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程'; & 'D:\Python\Python37\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '58764' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程\testThreading4_1.py'
[[1, 4, 9], [16, 16, 16], [25, 25, 25], [9, 16, 25]]
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程'; & 'D:\Python\Python37\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '58768' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程\testThreading4_1.py'
[[16, 16, 16], [1, 4, 9], [9, 16, 25], [25, 25, 25]]
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>

在这里插入图片描述

为了使得最后输出结果不打乱, 采用列表, testThreading4_4.py

# 教学视频第4集
import threading
import time
# from queue import Queue

def job(data,i,q):
    l = data[i]
    for k in range (len(l)):
        l[k] = l[k]**2
        time.sleep(1.0)
    q[i] = l
        
def multithreading():
    # q =Queue()
    q = [None for i in range(4)]
    threads = []
    data = [[1.2,2,3],[3,4,5],[4,4,4],[5,5,5]]
    for i in range(4):
        t = threading.Thread(target=job,args=(data,i,q))
        t.start()
        threads.append(t)
    for thread in threads:
        # thread.start()
        thread.join()
    results = []
    for i in range(4):
        results.append(q[i])
    print(results)

if __name__=='__main__':
    multithreading()

r'''
输出结果:
[[1.44, 4, 9], [25, 25, 25], [16, 16, 16], [9, 16, 25]]
'''

控制台输出结果:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 911 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>  & 'D:\Python\Python37\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '58980' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程\testThreading4_4.py'
[[1.44, 4, 9], [9, 16, 25], [16, 16, 16], [25, 25, 25]]
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程'; & 'D:\Python\Python37\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '58986' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程\testThreading4_4.py'
[[1.44, 4, 9], [9, 16, 25], [16, 16, 16], [25, 25, 25]]
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程'; & 'D:\Python\Python37\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '58990' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程\testThreading4_4.py'
[[1.44, 4, 9], [9, 16, 25], [16, 16, 16], [25, 25, 25]]
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程'; & 'D:\Python\Python37\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '58996' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多线程\testThreading4_4.py'
[[1.44, 4, 9], [9, 16, 25], [16, 16, 16], [25, 25, 25]]
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程> 
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多线程>

在这里插入图片描述

敲代码的小风
关注
专栏目录
【Python Threading 学习笔记】4、Queue功能
TeamsSix 的 CSDN 空间
11-03 505
往期内容： 1、什么是多线程？ 2、添加线程 3、join功能 0x00 关于Queue queue模块实现了各种【多生产者-多消费者】队列，可用于在执行的多个线程之间安全的交换信息。 queue的常用方法： q.size()：返回队列的正确大小。因为其他线程可能正在更新此队列，所以此方法的返回数字不可靠。 q.empty()：如果队列为空，返回True，否则返回False。 q.full()...
python学习笔记之使用threading模块实现多线程
A_Kaka的博客
06-29 553
综述 Python这门解释性语言也有专门的线程模型，Python虚拟机使用GIL（Global Interpreter Lock，全局解释器锁）来互斥线程对共享资源的访问，但暂时无法利用多处理器的优势。 在Python中我们主要是通过thread和 threading这两个模块来实现的，其中Python的threading模块是对thread做了一些包装的，可以更加方便的被使用，所以我们使用 threading模块实现多线程编程。这篇文章我们主要来看看Python对多线程编程的支持。 在语言层面，..
python_threading多线程、queue安全队列
热门推荐
编程知识分享，主打前端
04-10 3万+
python多线程多线程threading库常用方法thread类继承thread类全局变量的问题不加线程锁添加线程锁Lock(线程同步)queue线程安全队列 多线程 单线程（按序列并发执行） #mermaid-svg-1mBkHgaMG5Tm8N85 .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-1mBkH
多线程threading.Thread+队列queue实现生产者消费者
qq_40132294的博客
01-28 2815
Python的Queue模块提供了同步的，线程安全的队列类，包括：FIFO队列Queue，LIFO队列LifeQueue,优先级队列PriorityQueue,这些队列都实现了锁原语，能在多线程中直接使用，可以使用队列来实现线程间的同步。 初始化Queue（）对象时（如：q=Queue()),若括号中没有指定最大可接收的消息数量，或数量为负数，那么就代表可接收的消息数量没有上限。 队列的方法：（三种队列适用） def task_done(self) ......
python threading和queue的例子
张帅的博客
07-15 2075
建立一个生产者随机产生整数插入队列，建立两个消费者，一个不停地取奇数，另一个不停地取偶数。 原理：面向对象地抽象线程需要自定义一个类继承Thread类。比如自定义class MyThread(Thread)。这个类的一个实例就是代表了一个线程，然后通过重载这个类中的run方法（是run，不是start！！但start的动作确实就是调用run）来执行具体的操作。此时锁可以作为一个构造方法的参数，将一
python中threading与queue用法小结(待续）
weixin_39662684的博客
03-24 664
在python中使用threading可以把占用较长时间的程序放到后台运行，程序的运行速度也可能加快.使用threading的常用方法有两种： 1.直接调用threading.Thread传入对应的参数. threading.Thread(target=fun,args=(argv1,…) 需要注意的地方是fun即为需要调用的函数，argv1、argv2为fun的入口参数；如果入口参数只有一个，在...
Python 爬虫学习笔记之多线程爬虫
09-21
【Python多线程爬虫】 在Python爬虫开发中，多线程是一个常见的优化策略，它可以提高爬取效率，特别是在处理大量数据或多个网站时。多线程爬虫允许程序同时执行多个任务，每个线程负责抓取不同的网页，从而减少了...
Python批量造数并利用pymysql写入到数据库之multiprocessing多进程、threading多线程实现方式（学习笔记）
最新发布
m0_50281664的博客
02-28 1421
pymysql，multiprocessing，threading，Python的多进程多线程
Python常用内建模块-学习笔记共8页.pdf.zip
10-30
当熟练掌握基本模块后，可以探索更复杂的内建模块，如`threading`模块进行多线程编程，`queue`模块实现先进先出（FIFO）的数据结构，或`unittest`模块进行单元测试。 总之，Python的内建模块极大地丰富了其功能，...
queue与threading
sjx1111111的博客
09-06 296
import queue import threading import time """ 队列 queue.Queue(maxsize=0)： 先进先出,无参数默认无大小 queue.LifoQueue(maxsize=0)： 后进先出 queue.PriorityQueue(maxsize=0)： size最小的先出 queue.SimpleQueue： 先进先出且不支持task_done和join方法 队列的方法 q.qsize()： 队列大小 q.empty()： 队列是否
Python threading queue（不浪费内存）实例
迷心兔的博客
10-07 2159
原因：有需要才创建线程池，且重复利用空闲线程 1.有问题的例子： 注意：这个例子是 一开始就创建了所有出线程，浪费内存，线程也没有重复利用 # coding=utf-8 import queue import time import logging import threading logging.basicConfig( level=logging.INFO, format="...
Windows运维的学习笔记（Win11&Win10）
墨门
04-11 7675
Keywords: Win, PowerShell, dir
python多进程模块multiprocessing学习笔记(4)之进程池
敲代码的小风
04-10 534
参考链接: 【莫烦Python】Multiprocessing 让你的多核计算机发挥真正潜力 Python 参考链接: 莫烦多进程学习网站 参考链接: multiprocessing — 基于进程的并行 参考链接: class multiprocessing.Queue([maxsize]) 参考链接: 进程池 ...
python多进程模块multiprocessing学习笔记(5)之共享内存和锁
敲代码的小风
04-10 757
参考链接: 【莫烦Python】Multiprocessing 让你的多核计算机发挥真正潜力 Python 参考链接: 莫烦多进程学习网站 参考链接: multiprocessing — 基于进程的并行 参考链接: multiprocessing.Value(typecode_or_type, *args, lock=True) 参考链接: class multiprocessing.Lock 参考链接: link 参考链接: link 参考链接: link test05_1.py # 第6集共享内存和第7
PowerShell 配置文件以及别名
weixin_33695082的博客
03-15 301
配置文件以及别名PowerShell提供个人配置文件，在这里你可以将你自己常用的函数以及自定义的cmdlet别名放到你的个人配置文件中，你可以在启动PowerShell之后加载你的个人配置文件来使用你习惯的函数，别名等进行高效操作。（系统提供的部分别名看起来的确很像简写但是不要理解错误关于查看系统默认提供别名通过Get-Alias来查看）下面附图对此进行解释小编推荐：...
用threading和Queue模块实现多线程的端口扫描器
08-18 141
一.Queue模块基础 q = Queue.Queue() q.qsize() 返回队列的大小 q.empty() 如果队列为空，返回True,反之False q.full() 　　如果队列满了，返回True,反之False q.full 　 与 maxsize 大小对应 q.get([block[, ...
windows安装anaconda3，powershell不能使用命令：conda activate base
weixin_42846199的博客
06-14 2534
windows 安装 anaconda3，powershell不能使用命令：conda activate base
python基础应用之pickle库的使用,保存和加载自定义类型数据
敲代码的小风
04-28 1666
参考链接: python基础应用之pickle库的使用 文件夹内容展示: 实验代码展示:test1.py from os import name import pickle #序列化到文件 class Dog(): def __init__(self,name): self.name = name def bark(self,person): print('start,汪汪汪!') print(person+",请离开!")
Python中的多线程threading和线程间消息队列queue学习笔记
l1902090的专栏
04-30 2万+
python中实现多线程可以通过threading类。线程间同步则可以用queue类。至于python的进程间通信，暂时没有发现有类似linux ipc的模块可供使用，但是可以通过unix域套接字实现进程间通信。 1、用threading模块实现多线程     可以通过派生threading.Thread类来实现一个可独立控制的线程实例。用户需要（也只能）重写Thread类的__init__和
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值