scrapy的cb_kwargs向回调函数传参的方式

最新推荐文章于 2024-06-12 22:36:24 发布

保持学习y

最新推荐文章于 2024-06-12 22:36:24 发布

阅读量387

点赞数

文章标签： scrapy python

本文链接：https://blog.csdn.net/qq_41007870/article/details/130519686

版权

该文章介绍了在Scrapy框架下，如何通过Request对象传递参数到回调函数。两种方法包括直接设置cb_kwargs属性和在Request构造函数中指定cb_kwargs字典，以在后续的解析函数中使用这些元数据进行处理。

摘要由CSDN通过智能技术生成

第一种使用方式

def parse(self, response):
 	detail_href = '...'
 	publish_time = '...'
 	title_in_list_page = '...'
 	abstract = '...'
 	# 请求实例化一个对象
 	request = Request(detail_href, callback=self.get_detail_news)
 	# 直接添加值，如果有相应的属性则会
    request.cb_kwargs['publish_time'] = publish_time
    request.cb_kwargs['title_in_list_page'] = title_in_list_page
    request.cb_kwargs['abstract'] = abstract
    yield request
    
def get_detail_news(self, response: Response, publish_time, title_in_list_page, abstract):
        print(publish_time, title_in_list_page, response.url, abstract , sep='|')

第二种使用方式

def parse(self, response):
 	detail_href = '...'
 	publish_time = '...'
 	title_in_list_page = '...'
 	abstract = '...'
 	# 请求实例化一个对象
 	request = Request(detail_href, callback=self.get_detail_news, cb_kwargs={'publish_time': publish_time, 'title_in_list_page': title_in_list_page, 'abstract': abstract})
    yield request
    
def get_detail_news(self, response: Response, publish_time, title_in_list_page, abstract):
        print(publish_time, title_in_list_page, response.url, abstract , sep='|')