Python协程理解、基于爬虫举例

当前代码在工作当中没有太大的含义，但是对于大家理解协程的基础概念是相当有好处的 。

协程最直接的可以理解为程序当中一个没有返回的功能块儿。

我们之前有学过多线程，所谓的多线程不论是异步并发，还是并发强调的时候，都将功能放到不同的线程上分别运行 。

但是协程不是这样的，协程强调的是在同一个线程上进行运行，这样免去了线程生产、消费、抛弃的损耗。

站在生产消费者模式来看，多线程主张的是生产者生产： 生产的内容放入缓存， 然后取出使用

协程的主张是：生产者生产，然后生产函数终止，然后消费函数启动。消费完成接着生产

闲话不多说，上代码。提前祝大家节日快乐

import requests
from time import sleep
from lxml import etree
​
def setUp(fun):
    """
    启动生成器
    :param fun: 生成器函数
    """
    def inner(**kwargs):
        k = fun(**kwargs)  #调用生成器
        next(k) #执行一次，效果类似初始化
        return k
    return inner
​
@setUp
def getSrc():
     """
         根据内容获取链接
     """
     a = 1
     while True:
         content = yield a
         html = etree.HTML(content)
         imglist = html.xpath('//div[@id="content-left"]//img')
         for img in imglist:
             src = "http"+img.attrib.get("src")
             print(src)
@setUp
def getData():
    """
    根据地址获取内容
    :return:
    """
    while True:
        url = "https://www.qiushibaike.com/pic/page/%s/?s=5144861"
        page = yield url
        if page == 1:
            Referer = "https://www.qiushibaike.com"
            url = "https://www.qiushibaike.com/pic/"
        else:
            Referer = url%page
            url = url % page
        print(url)
        headers = {
            "Referer": Referer,
            "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36",
        }
        request_data = requests.get(url = url,headers = headers)
        content = request_data.content
        img = getSrc()
        img.send(content)
        sleep(1)
​
def getPage():
    """
    启动，获取所有的页码
    """
    d = getData()
    page = 0
    while page < 35:
        page += 1
        d.send(page)
​
if __name__ == "__main__":
    getPage()

大家可以跑一下看看，赏心悦目！