yield代码解释

WenJGo

已于 2024-03-09 12:48:32 修改

阅读量1.1k

点赞数 18

分类专栏： Python之路 Python爬虫文章标签： python 开发语言 yield

于 2024-03-09 12:47:52 首次发布

本文链接：https://blog.csdn.net/DDDDWJDDDD/article/details/136581021

版权

Python之路同时被 2 个专栏收录

39 篇文章 2 订阅

订阅专栏

Python爬虫

15 篇文章 0 订阅

订阅专栏

发现了很多人对存在有yield的代码都不理解，那就来详细的解释一下

我们的post请求爬取百度翻译的代码

import scrapy
import json

class TestpostSpider(scrapy.Spider):
    name = "testpost"
    allowed_domains = ["fanyi.baidu.com"]

    # post请求如果没有参数，那抹这个请求将没有任何的意义
    # 所以 start_urls 也是没有用
    # 而且 parse 方法也没有用了
    # 所以直接注释掉
    # TODO
    # start_urls = ["https://fanyi.baidu.com/sug"]
    #
    # def parse(self, response):
    #     print("==========================")

    # post请求就使用这个方法
    def start_requests(self):
        url = 'https://fanyi.baidu.com/sug'

        data = {
            'kw': 'final'
        }

        yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse_second)

    def parse_second(self, response):
        content = response.text
        obj = json.loads(content)
        print(obj)

这段代码是一个使用Scrapy框架实现的爬虫程序。代码中定义了一个名为TestpostSpider的Spider类，继承自Scrapy的Spider类。Spider类用于定义爬取和解析网页的逻辑。

该爬虫程序的目标网站是百度翻译接口（fanyi.baidu.com）。在start_requests方法中，定义了一个POST请求，请求的URL是'https://fanyi.baidu.com/sug'。请求的数据data是一个字典，包含了一个参数kw和对应的值'final'。通过scrapy.FormRequest方法发送POST请求，并指定回调函数为parse_second。

在parse_second方法中，处理了响应，将响应内容转换为JSON格式，并打印出来。

整个爬虫程序的作用是向百度翻译接口发送一个POST请求，请求参数为'final'，并将返回的响应内容解析为JSON格式并打印出来。

详细解释

import scrapy 和 import json：导入Scrapy框架和JSON库。
class TestpostSpider(scrapy.Spider):：定义一个名为TestpostSpider的Spider类，该类继承自Scrapy的Spider类。
name = "testpost"：指定爬虫的名称为"testpost"。
allowed_domains = ["fanyi.baidu.com"]：设置允许爬取的域名为"fanyi.baidu.com"。
def start_requests(self):：定义一个方法用于生成初始请求。
- url = 'https://fanyi.baidu.com/sug'：设置目标URL为百度翻译的sug API。
- data = {'kw': 'final'}：构造POST请求的表单数据，其中'kw'参数的值为'final'。
- yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse_second)：使用scrapy.FormRequest生成POST请求，并指定回调函数为parse_second。yield关键字用于生成请求对象，使得Scrapy能够异步处理请求。
def parse_second(self, response):：定义一个回调函数，用于处理POST请求的响应。
- content = response.text：获取响应的文本内容。
- obj = json.loads(content)：将响应内容解析为JSON格式。注意，json.loads()方法中不需要指定encoding参数，因为Scrapy已经以Unicode格式解码了响应内容。
- print(obj)：打印解析后的JSON数据。

解释一

yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse_second)

这句代码是在start_requests方法中使用yield关键字创建了一个scrapy.FormRequest对象，并将其返回。scrapy.FormRequest表示一个POST请求，可以指定请求的URL、表单数据和回调函数。

url=url：指定请求的URL为url变量的值，即'https://fanyi.baidu.com/sug'。
formdata=data：指定请求的表单数据为data变量的值，即{'kw': 'final'}。
callback=self.parse_second：指定请求完成后的回调函数为parse_second方法。当请求完成后，Scrapy会将响应传递给parse_second方法进行处理。

通过使用yield关键字返回scrapy.FormRequest对象，该对象将被Scrapy的引擎接收并执行。这样，Scrapy将会发送POST请求到指定的URL，并在获取到响应后调用parse_second方法进行处理。

解释二

这句代码使用了scrapy.FormRequest来生成一个POST请求。

yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse_second)

url=url：指定请求的目标URL，即要发送POST请求的地址，这里是百度翻译的suggest API。
formdata=data：设置POST请求的表单数据，这是一个字典，其中键值对表示表单中的字段和相应的值。在这个例子中，'kw': 'final'是表单中的一个字段和值。
callback=self.parse_second：指定了请求成功后的回调函数，即在收到响应后要执行的函数。在这里，回调函数是parse_second，该函数会处理服务器返回的响应。
yield：这是关键的异步操作部分。通过使用yield，Scrapy能够以异步的方式处理请求，而不会阻塞程序的执行。这使得程序能够同时发送多个请求并处理它们的响应，提高了效率。

总体来说，这一行代码的作用是生成一个POST请求，发送到指定的URL，携带特定的表单数据，并在成功获取响应后调用parse_second函数进行处理。使用yield确保了异步操作，使得爬虫能够高效地处理多个请求。

再说一下callback

例子

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    start_urls = ["http://quotes.toscrape.com/page/1/", "http://quotes.toscrape.com/page/2/"]

    def parse(self, response):
        for quote in response.css('div.quote'):
            text = quote.css('span.text::text').get()
            author = quote.css('span small::text').get()
            yield {
                'text': text,
                'author': author,
            }

        # 跟踪翻页链接
        next_page = response.css('li.next a::attr(href)').get()
        if next_page:
            yield scrapy.Request(url=next_page, callback=self.parse)

callback=self.parse 的部分指定了在新请求完成后应该调用的回调函数，也就是处理新响应的方法。在这个例子中，回调函数是 parse 方法。

在 Scrapy 中，parse 是默认的回调函数名称，用于处理初始请求的响应。当新请求被生成并完成后，Scrapy 将调用指定的回调函数来处理新的响应。这种设计使得爬虫能够以递归的方式处理多个页面，特别是在需要翻页时。

在翻页的情况下，通过 yield scrapy.Request(url=next_page, callback=self.parse) 生成了一个新的请求对象，这个请求对象将发送到下一页的 URL。当这个请求完成后，它的响应会由 parse 方法处理，从而实现了对多个页面的异步爬取。

你也可以定义其他的回调函数来处理不同的请求或响应，这取决于你的爬虫需求。例如，你可以为处理详情页的响应定义一个独立的回调函数，然后在生成请求时指定相应的回调函数。

总结

yield 在 Python 中有两个主要的用途：作为生成器（generator）的一部分和在异步编程中用于生成异步操作的结果。在 Scrapy 中，yield 主要用于异步爬取的场景，其中最常见的用法是生成请求对象和处理响应。

在 Scrapy 中，yield 通常用于：

生成请求对象： 使用 yield 生成包含新请求的请求对象，使得 Scrapy 能够异步地发送和处理多个请求。这在处理翻页、跟踪链接等情况下非常常见。例如：
```
yield scrapy.Request(url="http://example.com/page1", callback=self.parse_page)
```
处理响应： 使用 yield 生成爬取到的数据，允许 Scrapy 异步地处理和保存数据。这通常发生在回调函数中。例如：
```
yield { 'title': response.css('h1::text').get(), 'content': response.css('div.article::text').get(), }
```
异步操作： yield 在异步编程中用于生成异步操作的结果，允许程序在等待异步操作完成的同时执行其他任务。