中文文档:http://www.scrapyd.cn/doc/
本节包括:
1. resquest 和 response 的属性方法
2. scrapy提取信息的强大方法
request 和 response
request:
属性或方法 说明
.url Request对应的请求URL地址
.method 对应的请求方法,'GET' 'POST'等
.headers 字典类型风格的请求头
.body 请求内容主体,字符串类型
.meta 用户添加的扩展信息,在Scrapy内部模块间传递信息使用
.copy() 复制该请求
response:
属性或方法 说明
.url Response对应的URL地址
.status HTTP状态码,默认是200
.headers Response对应的头部信息
.body Response对应的内容信息,字符串类型
.flags 一组标记
.request 产生Response类型对应的Request对象
.copy() 复制该响应
Scrapy爬虫支持多种HTML信息提取方法:
Beautiful Soup
lxml
re
XPath Selector
CSS Selector
CSS Selector 由 W3C 组织维护并规范,基本使用方法:
<HTML>.css('a::attr(href)').extract()
可以参考:
http://www.scrapyd.cn/doc/146.html
http://www.scrapyd.cn/doc/185.html