python爬动态网页json_爬虫再探实战（四）———爬取动态加载页面——请求json...

还是上次的那个网站，就是它.现在尝试用另一种办法——直接请求json文件，来获取要抓取的信息。

第一步，检查元素，看图如下：

过滤出JS文件，并找出包含要抓取信息的js文件，之后就是构造requests请求对象，然后解析json文件啦。源码如下：

import requests

def save(school_datas):

for data in school_datas:

# print(data)

year = data['year']

province = data['province']

type = data['type']

bath = data['bath']

score = data['score']

print(province, year, type, bath,score )

for i in range(1, 34):

print("第%s页====================="%str(i))

# url = "http://data.api.gkcx.eol.cn/soudaxue/queryProvince.html?messtype=jsonp&url_sign=queryprovince&province3=&yea