问题描述:Scrapy爬虫里,不同的Request请求,根据需求来选择不同的中间件进行过滤。
举例:scrapy爬虫时,有些请求需要借助selenium,但是其他请求不需要用selenium,那如何让某一个单独的请求使用selenium这个中间件?
解决方法:简单讲,用好meta这个参数进行传参。
第一步:先准备好一个selenium中间件
第二步:全局开启selenium中间件
第三步:爬虫文件里,哪个文件需要使用selenium,指定好meta参数
是不是很简单~~ 只要在原有代码上,添加meta参数就可以咯!