python爬取jsonp_python 爬取 jsonp 请求的响应数据

jsonp  是为了解决跨域问题而诞生出的解决方案。在现代浏览器中，除了src等特殊标签可以允许跨域，其他时候都不允许跨域访问。为了解决这个问题，jsonp诞生了。

其原理主要是 向服务端传递一个一个callback 方法，以及其他请求参数。服务端接受到请求之后，收集对应参数所需要的数据，并加上之前传过来的callback 方法名 ，包装成一个内容为 js文件的响应。客户端再对这个伪js方法进行解析。

示例：

以 http://www.neeq.com.cn/zone/newshare/listofissues.html  为例

其 数据获得接口为 http://www.neeq.com.cn/newShareController/infoResult.do?callback=jQuery211_1592489332270

其中 最后的159开头的即为13位时间戳。

在浏览器中，其显示为post请求。这里我们先copy下整个headers

再看formdata表单，看起来也很正常

我们也复制下来 。接下来我们使用requests 包模拟一下这个请求

#! /usr/bin/env python3

# -*- coding: utf-8 -*-

import requests

import time

headers = {

"Accept": "text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01",

"Accept-Encoding": "gzip, deflate",

"Accept-Language": "en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7",

"Cache-Control": "no-cache",

"Connection": "keep-alive",

# "Content-Length":"386", #这个需要注释掉，如果长度不对请求会被视作异常

"Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",

"Cookie": "Hm_lpvt_b58fe8237d8d72ce286e1dbd2fc8308c=1592488450; BIGipServerNEEQV1.3C_WEB_8000=268501940.16415.0000; BIGipServerJY_NEEQV1.3C_WEB_8000=268501940.16415.0000; Hm_lvt_b58fe8237d8d72ce286e1dbd2fc8308c=1592515239",

"Host": "www.neeq.com.cn",

"Origin": "http://www.neeq.com.cn",

"Pragma": "no-cache",

"Referer": "http://www.neeq.com.cn/zone/newshare/listofissues.html",

"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36",

"X-Requested-With": "XMLHttpRequest",

}

formdata = {

"statetypes[]": "",

"page": "0",

"companyCode": "",

"isNewThree": "1",

"sortfield": "purchaseDate",

"sorttype": "desc",

"needFields[]": "id",

"needFields[]": "stockCode",

"needFields[]": "stockName",

"needFields[]": "initialIssueAmount",

"needFields[]": "enquiryType",

"needFields[]": "issuePrice",

"needFields[]": "peRatio",

"needFields[]": "purchaseDate",

"needFields[]": "issueResultDate",

"needFields[]": "enterPremiumDate",

}

timestamp = time.time() * 1000

url = "http://www.neeq.com.cn/newShareController/infoResult.do?callback=jQuery211_" + str(timestamp)[:13]

response = requests.get(url, headers=headers, data=formdata)

print(response.text)

#### 下面是响应内容

jQuery211_1592494024179([{"listInfo":{"content":[{"enterPremiumDate":null},{"enterPremiumDate":null}],"firstPage":true,"lastPage":true,"number":0,"numberOfElements":2,"size":20,"sort":null,"totalElements":2,"totalPages":1}}])

但是这样得出来的结果中并没有正确的数据。

我们看到 请求的url中有一个 jQuery211_xxxx的参数，这里就是jsonp方式的调用。

在浏览器中检查这个页面时，可以在http://www.neeq.com.cn/template/4/bluewise/_files/js/components/common/neeqDT.js?V_0.0.1 中得到明确的印证。这就是个jsonp请求。

最终本人经过多次模拟、搜索资料，发现 将请求url换成以下格式，并以get方式请求，即可拿到正常的数据。

url='http://www.neeq.com.cn/newShareController/infoResult.do?callback=jQuery211_{}&statetypes%5B%5D=&page=0&companyCode=&isNewThree=1&sortfield=purchaseDate&sorttype=desc&needFields%5B%5D=id&needFields%5B%5D=stockCode&needFields%5B%5D=stockName&needFields%5B%5D=initialIssueAmount&needFields%5B%5D=enquiryType&needFields%5B%5D=issuePrice&needFields%5B%5D=peRatio&needFields%5B%5D=purchaseDate&needFields%5B%5D=issueResultDate&needFields%5B%5D=enterPremiumDate'.format(str(timestamp)[:13])

这个url是接口前缀加上  时间戳callback再加上formdata拼接而成(formdata可以使用【view source】格式的数据，上文formdata图中可以找到。)

为什么换成get请求就可以了？

经查阅资料，原来jsonp只支持get。浏览器中显示的post 十分误导我们。

这里可以联系到 jsonp最终是将数据以类似src标签的方式加载，而这种加载方式的确是只有get方式。

所以以后遇见jsonp请求，一定不要误以为是post，需要找到参数拼接称get请求进行模拟即可