初步实现协程爬虫（异步爬虫）

异步爬虫就是解决我们在 爬虫中当爬取大量数据时的时间效率问题

请看下面的代码

# _*_　coding:utf-8 _*_
# coding = utf-8


from gevent import monkey
#下面这串代码是把程序变成一个协作式运行，就是可以帮助程序实现异步爬取数据,
monkey.patch_all()  #实现让IO阻塞。

import gevent
import requests
import time

start_time = time.time()


#自己找一些网站，然后把它们封装成一个列表
url_list = [
    "https://www.baidu.com/?tn=49055317_1_hao_pg",
    "https://mbd.baidu.com/newspage/data/landingsuper",
    'https://www.baidu.com/',
    'https://www.sina.com.cn/',
    'http://www.sohu.com/',
    'https://www.qq.com/',
    'https://www.163.com/',
    'http://www.iqiyi.com/',
    'https://www.tmall.com/',
    'http://www.ifeng.com/'

]

def reptile_url(url):
    re = requests.get(url)
    #打印状态码和地址
    print(re.status_code, url, time.time()-start_time)


task_list = []

#遍历地址列表
for url in url_list:
    #使用gevent.spawn()函数去创建任务
    task = gevent.spawn(reptile_url, url)

    #添加到一个列表中方便后面进行回收
    task_list.append(task)

gevent.joinall(task_list)
end_time = (time.time() - start_time)
print(end_time)

上面的代码还有一个问题， 就是当你爬取的上千上万个网站的时候，你又该怎么办？比如你要爬取1000个网站，然后你分成10个任务，然后这每个任务爬取100个网站，表面上看着是异步爬取的但是每个任务的里的爬取又是同步的勒！所以这个时候你就要用到队列

队列的理解很简单，就是先进先出，就像排队一样的，请看代码

# _*_　coding:utf-8 _*_
# coding = utf-8
from gevent import monkey
from gevent.queue import Queue
monkey.patch_all()
#monkey.patch_all()能把程序变成协作式运行，就是可以帮助程序实现异步。
import gevent
import time
import requests

start_time = time.time()


"""
当爬取的网站特别多的时候，他的内部还是同步的，所以达不到整体的异步，我们可以加一个队列来解决这个问题，
队列就是先进先出，就相当于排队

"""
url_list = ['https://www.baidu.com/',
            'https://www.sina.com.cn/',
            'http://www.sohu.com/',
            'https://www.qq.com/',
            'https://www.163.com/',
            'http://www.iqiyi.com/',
            'https://www.tmall.com/',
            'http://www.ifeng.com/'
            ]
url_queue = Queue()
for url in url_list:
    url_queue.put_nowait(url)

def crawler():
    #这里判断队列是否为空来当作结束的条件
    while not url_queue.empty():
        #使用get_nowait()函数可以把队列的网址都取出来
        url = url_queue.get_nowait()
        re = requests.get(url)
        print(url, url_queue.qsize(), re.status_code)


tasks_list = []

for i in range(4):
    #相当于创建了3个爬虫
    task = gevent.spawn(crawler)
    tasks_list.append(task)
gevent.joinall(tasks_list)
end_time = time.time()
print(end_time - start_time)

因为爬取的网站并不多，所以这里看到的时间差都是差不多的。

部分代码来源开课吧