Request
- 初始化参数
class scrapy.http.Request(
url[
callback,
method=’GET’,
headers,
body,
cookies,
meta,
encoding=’utf-8’,
priority=0,
don’t_filter=False,
errback
]) - 其他属性
copy():返回原Request一样的Request
replace():返回一个Request,但是可以修改原来Request的一些参数 实例
1.生成Request的方法;
2.通过Request传递数据的方法
3.Resquest.meta特殊关键字的用法
实例一:(常用的生成Request的方法)def parse_page1(self, response): return scrapy.Request("http://www.example.com/some_page.html", callback=self.parse_page2) def parse_page2(self, response): self.logger.info("Visited %s", response.url)
实例二:(展示两个不同的函数传递数据的方法和Resquest.meta特殊关键字的用法)
def parse_page1(self, response): item = MyItem() item['main_url'] = response.url request = scrapy.Request("http://www.example.com/some_page.html", callback=self.parse_page2) request.meta['item'] = item return request def parse_page2(self, response): item = response.meta['item'] return item
子类介绍
- FormRequest(url[,formdata])
用来实现登录功能
- FormRequest(url[,formdata])
子类实例
Response
- 初始化参数(一般不会去手动实例化一个response)
class Scrapy.http.Response(
url[
status=200,
headers,
body,
flags
])
- 其他属性
-urljoin:用于生成绝对连接
- 子类介绍
- class scrapy.TextResponse(url[,encoding[,...]])
- class scrapy.HtmlResponse(url[,...])
- class scrapy.http.XmlResponse(url[,...])