python_queue多线程

最近在看Queue多线程编程,准备写一个爬虫去爬网站的图片,看到的例子很多是一个固定的任务,用线程去跑几遍,实则Queue与Threading结合的方式是,线程可以从队列中获取一个数据去处理,执行任务函数,也就是说,任务函数的参数必须是队列,而任务函数是以队列中单个数据为参数的一个循环。在此基础上,队列就必须是一个全局变量。这类程序的代码组成如下:
全局变量队列
任务函数(队列)
线程执行函数(线程个数)(for循环)
主函数部分调用线程执行函数
遇到的问题:
(1)关于下载图片时图片编号的问题,这个可以定义在任务函数中;
(2)关于线程的参数,args = XXX, ,这里最好写逗号,否则程序可能会对参数类型判断错误,这里必须是队列。
稍后附上代码,初学python,欢迎各位大神指教。

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import urllib
import re
import Queue
import hashlib
import cStringIO
import threading

from PIL import Image#第三方图像处理库,这个模块需要自己安装

#获取网页内链接
def get_Url(url
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python中,可以使用队列(Queue)来实现多线程之间的安全通信。队列提供了一种线程安全的方式来传递数据。 Python标准库中的queue模块提供了多种队列实现,其中最常用的是`Queue`类和`Queue.Queue`类。以下是一个示例代码,演示了如何使用`Queue`实现多线程之间的通信: ```python import queue import threading # 创建一个队列 q = queue.Queue() # 生产者函数,向队列中放入数据 def producer(): for i in range(5): item = f"Item {i}" q.put(item) print(f"Produced: {item}") # 消费者函数,从队列中取出数据 def consumer(): while True: item = q.get() if item is None: break print(f"Consumed: {item}") q.task_done() # 创建生产者和消费者线程 producer_thread = threading.Thread(target=producer) consumer_thread = threading.Thread(target=consumer) # 启动线程 producer_thread.start() consumer_thread.start() # 等待生产者线程结束 producer_thread.join() # 等待队列中的所有任务被消费完 q.join() # 向队列中放入一个None作为结束标志 q.put(None) # 等待消费者线程结束 consumer_thread.join() ``` 在上面的示例中,我们创建了一个队列`q`,然后定义了一个生产者函数`producer`和一个消费者函数`consumer`。生产者函数通过调用`q.put()`往队列中放入数据,消费者函数通过调用`q.get()`从队列中取出数据。通过使用队列,我们可以确保生产者和消费者之间的数据传递是线程安全的。 请注意,使用队列时需要注意以下几点: - `put()`方法向队列中放入数据,`get()`方法从队列中取出数据。 - 如果队列为空,`get()`方法会阻塞直到队列中有数据可取。 - 如果队列已满,`put()`方法会阻塞直到队列有空间可用。 - `task_done()`方法用于通知队列已完成一个任务,可以在生产者和消费者之间同步任务的完成情况。 - `join()`方法用于阻塞主线程,直到队列中的所有任务都被消费完。 希望这个示例能帮助你理解如何使用队列实现多线程之间的通信。如果有任何进一步的问题,请随时提问!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值