1-Request
表示一个HTTP请求,它通常是在爬虫生成,并由下载执行,从而生成Response。
使用前需要先导入:
from scrapy.http import Request
2-Response
表示的HTTP响应,这通常是下载,并提交到爬虫进行处理。
3-在selectors中使用XPaths
3-1-构建selectors
通过response的selector属性来构建
response.selector.xpath... 简写:response.xpath...
3-2-使用selectors
response.xpath('//title/text()').extract()
response.css('title::text').extract()
【注意】要实际提取文本数据,必须调用选择器.extract() 方法
4-在selectors中使用正则表达式
resonpse.body.decode(‘编码方式’)
例如:
import re
data = response.body.decode('gbk')
position_pat = '<a target="_blank" title="(.*)" href=".*" onmousedown=".*">'
item['position'] = re.findall(position_pat, data)