ajax模拟表单,Scrapy发送POST模拟表单和Ajax

1、scrapy.FormRequest

普通请求使用scrapy.Request类就可以实现，但是遇到模拟表单或Ajax提交post请求的时候，Request类就不如 子类 FormRequest类方便了，因为他自带 formdata ，专门用来设置表单字段数据，默认method也是POST。

注：

a. 使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。

b. 如果希望程序执行一开始就发送POST请求，可以重写Spider类的start_requests(self) 方法，并且不再调用start_urls里的url。

c. 使用scrapy.FromRequest()方法时，如果formdata设置为{}即没有post body，则会变为get请求，只有当不为空字典时才会变为POST请求，因此无post数据时，应该使用scrapy.Request(url,method=’POST’)

def start_requests(self):

form_data = {'f1':'1', 'f2':'100'} # 表单数据，字典格式，注意数字也要用引号引起来，否则报错。

yield scrapy.FormRequest(url, formdata=form_data) # 还可以通过callback修改回调函数等

2、scrapy.http.FormRequest

scrapy.http.FormRequest发送POST请求与scrapy.FormRequest相似，要声明库from scrapy.http import FormRequest

from scrapy.http import FormRequest

class DmozSpider(BaseSpider):

name = "xxxx"

allowed_domains = ["xxxx.com"]

start_urls = ["http://www.xxxx.com"]

def parse(self, response):

yield FormRequest.from_response(response,

formname='flightSearchForm',

formdata={'departureCity[0]': 'JFK',

'destinationCity[0]': 'SFO',

'departureDate[0]': '07.20.2013',

'departureDate[1]': '07.28.2013'},

callback=self.parse1)

def parse1(self, response):

print response.status

3、FormRequest.from_response

模拟用户登录：

通常网站通过 实现对某些表单字段(如数据或是登录界面中的认证令牌等)的预填充。

使用Scrapy抓取网页时，如果想要预填充或重写像用户名、用户密码这些表单字段， 可以使用 FormRequest.from_response() 方法实现。

import scrapy

class LoginSpider(scrapy.Spider):

name = 'example.com'

start_urls = ['http://www.example.com/users/login.php']

def parse(self, response):

return scrapy.FormRequest.from_response(

response,

formdata={'username': 'john', 'password': 'secret'},

callback=self.after_login

)

def after_login(self, response):

# check login succeed before going on

if "authentication failed" in response.body:

self.log("Login failed", level=log.ERROR)

return