python多线程队列爬虫流程图_python多线程多队列（BeautifulSoup网络爬虫）

程序大概内容如下：

程序中设置两个队列分别为queue负责存放网址，out_queue负责存放网页的源代码。

ThreadUrl线程负责将队列queue中网址的源代码urlopen，存放到out_queue队列中。

DatamineThread线程负责使用BeautifulSoup模块从out_queue网页的源代码中提取出想要的内容并输出。

这只是一个基本的框架，可以根据需求继续扩展。

程序中有很详细的注释，如有有问题跪求指正啊。

import Queue

import threading

import urllib2

import time

from BeautifulSoup import BeautifulSoup

hosts = ["http://yahoo.com","http://taobao.com","http://apple.com",

"http://ibm.com","http://www.amazon.cn"]

queue = Queue.Queue()#存放网址的队列

out_queue = Queue.Queue()#存放网址页面的队列

class ThreadUrl(threading.Thread):

def __init__(self,queue,out_queue):

threading.Thread.__init__(self)

self.queue = queue

self.out_queue = out_queue

def run(self):

while True:

host = self.queue.get()

url = urllib2.urlopen(host)

chunk = url.read()

self.out_queue.put(chunk)#将hosts中的页面传给out_queue

self.queue.task_done()#传入一个相当于完成一个任务

class DatamineThread(threading.Thread):

def __init__(self,out_queue):

threading.Thread.__init__(self)

self.out_queue = out_queue

def run(self):

while True:

chunk = self.out_queue.get()

soup = BeautifulSoup(chunk)#从源代码中搜索title标签的内容

print soup.findAll(['title'])

self.out_queue.task_done()

start = time.time()

def main():

for i in range(5):

t = ThreadUrl(queue,out_queue)#线程任务就是将网址的源代码存放到out_queue队列中

t.setDaemon(True)#设置为守护线程

t.start()

#将网址都存放到queue队列中

for host in hosts:

queue.put(host)

for i in range(5):

dt = DatamineThread(out_queue)#线程任务就是从源代码中解析出

标签内的内容

dt.setDaemon(True)

dt.start()

queue.join()#线程依次执行，主线程最后执行

out_queue.join()

main()

print "Total time :%s"%(time.time()-start)

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com

特别注意：本站所有转载文章言论不代表本站观点！

本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。