scrapy在下载中间件中对url的修改
方法1
request.url 是传递到中间件的url,是只读属性,无法直接修改
def process_request(self, request, spider):
new_url = request.url + '&t=%s' % (self.gettime())
request.replace(url = new_url)
return None
#对request没有影响
方法2
def process_request(self, request, spider):
request._set_url(request.url + '&t=%s' % self.gettime())
#实践证明此种方法成功修改了request请求的链接并得到响应