Python爬虫学习笔记（八）——智高考数据爬取

介绍

智高考是一个高考志愿网站，也是基于Ajax的。高中的时候我在wyz大神的帮忙下，尝试过爬取信息来为填志愿做准备。但是当时没有系统学习过爬虫，几乎都是靠大神带飞，因此今天再次尝试爬取智高考的大学信息。（数据全部基于智高考，侵删）
该网站有多种查询模式，我打算爬取的有两种。
1.各省份的本科大学
2.各学科的本科大学

正文

各省份的本科大学

首先分析Ajax，可以看到URL为：

http://www.zhigaokao.cn/university/getRemoteUniversityList.do?userKey=www&req=ajax&universityName=&areaid=110000&type=&educationLevel=1&property=&offset=0&rows=10

其中universityName、type、property均可省略，因为我们没有传入数据。然后通过字面翻译可以知道，areaid是地区代码的意思，也就是代表着各个省份（直辖市）。这里可以选择网上搜索所有省份代码，预处理弄好，这也是我曾经的做法。但是今天我打算直接从网站上爬取所有省份代码。
直接刷新界面，可以看到有好几条xhr信息，仔细观察就能发现其中一条就是存着省份