python爬虫post请求翻页_python爬虫如何POST request payload形式的请求

python爬虫如何POST request payload形式的请求

1. 背景

最近在爬取某个站点时,发现在POST数据时,使用的数据格式是request payload,有别于之前常见的 POST数据格式(Form data)。而使用Form data数据的提交方式时,无法提交成功。

1247044-20181023105756453-3558093.png

于是上网查了下二者的区别:http://xiaobaoqiu.github.io/blog/2014/09/04/form-data-vs-request-payload/,下面做了搬运工(侵权立删…)

1.1. Http请求中Form Data 和 Request Payload的区别

AJAX Post请求中常用的两种传参数的形式:form data 和 request payload

1.1.1. Form data

get请求的时候,我们的参数直接反映在url里面,形式为key1=value1&key2=value2形式,比如:

http://news.baidu.com/ns?word=NBA&tn=news&from=news&cl=2&rn=20&ct=1

而如果是post请求,那么表单参数是在请求体中,也是以key1=value1&key2=value2的形式在请求体中。通过chrome的开发者工具可以看到,如下:

RequestURL:http://127.0.0.1:8080/test/test.do

Request Method:POST

Status Code:200 OK

Request Headers

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8

Accept-Encoding:gzip,deflate,sdch

Accept-Language:zh-CN,zh;q=0.8,en;q=0.6

AlexaToolbar-ALX_NS_PH:AlexaToolbar/alxg-3.2

Cache-Control:max-age=0

Connection:keep-alive

Content-Length:25

Content-Type:application/x-www-form-urlencoded

Cookie:JSESSIONID=74AC93F9F572980B6FC10474CD8EDD8D

Host:127.0.0.1:8080

Origin:http://127.0.0.1:8080

Referer:http://127.0.0.1:8080/test/index.jsp

User-Agent:Mozilla/5.0 (Windows NT 6.1)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.149 Safari/537.36

Form Data

name:mikan

address:street

Response Headers

Content-Length:2

Date:Sun, 11 May 2014 11:05:33 GMT

Server:Apache-Coyote/1.1

这里要注意post请求的Content-Type为application/x-www-form-urlencoded(默认的),参数是在请求体中,即上面请求中的Form Data。

前端代码:提交数据

xhr.setRequestHeader("Content-type","application/x-www-form-urlencoded");

xhr.send("name=foo&value=bar");

后端代码:接收提交的数据。在servlet中,可以通过request.getParameter(name)的形式来获取表单参数。

/**

* 获取httpRequest的参数

*

* @param request

* @param name

* @return

*/

protected String getParameterValue(HttpServletRequest request, String name) {

return StringUtils.trimToEmpty(request.getParameter(name));

}

1.1.2. Request payload

如果使用原生AJAX POST请求的话,那么请求在chrome的开发者工具的表现如下,主要是参数在

Remote Address:192.168.234.240:80

Request URL:http://tuanbeta3.XXX.com/qimage/upload.htm

Request Method:POST

Status Code:200 OK

Request Headers

Accept:application/json, text/javascript, */*; q=0.01

Accept-Encoding:gzip,deflate,sdch

Accept-Language:zh-CN,zh;q=0.8,en;q=0.6

Connection:keep-alive

Content-Leng

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Python爬虫中的POST请求payload是指在向服务器发送POST请求时,需要传递的数据。这些数据通常是以字典的形式存储在payload中,然后通过requests库的post方法发送给服务器。例如: ``` import requests payload = {'username': 'admin', 'password': '123456'} response = requests.post('http://www.example.com/login', data=payload) print(response.text) ``` 在上面的代码中,我们定义了一个payload字典,其中包含了用户名和密码。然后使用requests库的post方法向'http://www.example.com/login'发送POST请求,并将payload作为参数传递给data参数。最后,我们可以通过response.text获取服务器返回的响应内容。 需要注意的是,payload中的数据格式需要根据服务器的要求进行设置,有些服务器可能需要将数据以JSON格式传递,这时候可以使用json参数代替data参数。例如: ``` import requests payload = {'username': 'admin', 'password': '123456'} response = requests.post('http://www.example.com/login', json=payload) print(response.text) ``` 在这个例子中,我们将payload以JSON格式传递给服务器。这时候需要注意的是,使用json参数时,requests库会自动将payload转换为JSON格式,并设置Content-Type为application/json。 ### 回答2: Python爬虫是一种快速抓取网站数据的方法。在爬取数据时,常常需要使用POST请求来提交数据给目标服务器。在使用POST请求时,会经常涉及到payload参数。 Payload通常是指在HTTP请求中,包含的数据信息。例如,在POST请求中,payload是要提交的数据。因此,了解Python爬虫中如何使用POST请求payload参数非常重要。 在Python中使用POST请求时,可以通过requests库来实现。requests库是Python中最常用的HTTP客户端库之一。下面是使用requests库实现POST请求的基本代码: ```python import requests url = "http://www.example.com" payload = {"key1": "value1", "key2": "value2"} headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"} response = requests.post(url, data=payload, headers=headers) print(response.text) ``` 从上述代码可以看出,使用requests库发送POST请求的基本步骤如下: 1. 设置需要访问的目标URL。 2. 设置要提交的payload数据。 3. 设置请求的Headers,包括User-Agent等信息。 4. 使用requests库发送POST请求,并获取响应数据。 对于payload参数的设置,主要需要注意以下几点: 1. payload参数必须是字典类型。 2. 接口文档中可能会给出需要提交的参数字段名,要根据接口文档进行设置。 3. 如果需要提交的参数比较多,可以将多个参数封装到字典中。 4. 如果有特殊字符或中文,需要对payload参数进行编码。 总之,了解Python爬虫中如何使用POST请求payload参数,可以让我们更加灵活自如地进行数据爬取。当然,在使用POST请求时,还需要注意反爬虫策略等相关问题,以免被网站封IP或其他限制。 ### 回答3: 在Python爬虫中,POST请求一般用于向服务器提交数据,常用于完成表单提交的操作。为了进行POST请求,需要使用payload(负载)来携带所需的数据。在Python中,可以使用requests库来发送POST请求,并设置payload参数。 payload是一个字典类型的数据,key-value对应着POST请求所需的参数。根据实际情况,可以设置不同的payload,以满足请求参数的不同需求。例如: ```python import requests # 设置提交数据 payload = {'username': 'admin', 'password': '123456'} # 发送POST请求 response = requests.post('http://www.example.com/login', data=payload) # 获取响应结果 print(response.text) ``` 以上代码中,payload为一个字典类型的数据,里面包含了两个键值对,即username和password。然后使用requests.post函数来发送POST请求,并通过data参数设置payload的值。最后,获取服务器响应结果,即可获得登录成功或失败的信息。 需要注意的是,在使用POST请求时,需要根据服务器要求设置请求头中的Content-Type参数。如果服务器要求提交的数据类型为JSON,则需要设置Content-Type为application/json,如果服务器要求提交的数据类型为表单,则需要设置Content-Type为application/x-www-form-urlencoded。具体应根据实际情况进行设置。 另外,对于一些比较复杂的POST请求,如需要上传文件等,需要在设置payload时根据任务需求设置更多的参数,以保证请求的正常执行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值