1、scrapy.FormRequest
普通请求使用scrapy.Request类就可以实现,但是遇到模拟表单或Ajax提交post请求的时候,Request类就不如 子类 FormRequest类方便了,因为他自带 formdata ,专门用来设置表单字段数据,默认method也是POST。
注:
a. 使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。
b. 如果希望程序执行一开始就发送POST请求,可以重写Spider类的start_requests(self) 方法,并且不再调用start_urls里的url。
c. 使用scrapy.FromRequest()方法时,如果formdata设置为{}即没有post body,则会变为get请求,只有当不为空字典时才会变为POST请求,因此无post数据时,应该使用scrapy.Request(url,method=’POST’)
def start_requests(self):
form_data = {'f1':'1', 'f2':'100'} # 表单数据,字典格式,注意数字也要用引号引起来,否则报错。
yield scrapy.FormRequest(url, formdata=form_data) # 还可以通过callback修改回调函数等
2、scrapy.http.FormRequest
scrapy.http.FormRequest发送POST请求与scrapy.FormRequest相似,要声明库from scrapy.http import FormRequest
from scrapy.http import FormRequest
class DmozSpider(BaseSpider):
name = "xxxx"
allowed_domains = ["xxxx.com"]
start_urls = ["http://www.xxxx.com"]
def parse(self, response):
yield FormRequest.from_response(response,
formname='flightSearchForm',
formdata={'departureCity[0]': 'JFK',
'destinationCity[0]': 'SFO',
'departureDate[0]': '07.20.2013',
'departureDate[1]': '07.28.2013'},
callback=self.parse1)
def parse1(self, response):
print response.status
3、FormRequest.from_response
模拟用户登录:
通常网站通过 实现对某些表单字段(如数据或是登录界面中的认证令牌等)的预填充。
使用Scrapy抓取网页时,如果想要预填充或重写像用户名、用户密码这些表单字段, 可以使用 FormRequest.from_response() 方法实现。
import scrapy
class LoginSpider(scrapy.Spider):
name = 'example.com'
start_urls = ['http://www.example.com/users/login.php']
def parse(self, response):
return scrapy.FormRequest.from_response(
response,
formdata={'username': 'john', 'password': 'secret'},
callback=self.after_login
)
def after_login(self, response):
# check login succeed before going on
if "authentication failed" in response.body:
self.log("Login failed", level=log.ERROR)
return