使用多线程爬取信息:
当需要爬取的信息量比较大,比较多时,使用多线程能够大大提高爬取速度
代码
from fake_useragent import UserAgent
from threading import Thread
import requests
from lxml import etree
from queue import Queue
class Spider(Thread):
def __init__(self,url_queue):
Thread.__init__(self)
self.url_queue