转载自Python研究者,作者阿辰。
今天带大家来看一下全国所有大学的数据信息(包括专本科,覆盖全国),一共是获取到了全国31个省份,共2769所大学。先预览一下数据:
这里字段主要是包括了(省份、大学、类型、公或民办、本会专科、985、211、双一流、城市、隶属于、地址)
本文除了讲解怎么获取数据外,还将对这些数据进行可视化展示分析。
PS: 下面将一大把可视化动图袭来,别被震撼到,因为实在是太炫酷了(哈哈哈)
1
获取数据
网页分析
在开始获取之前,先说一下数据的来源:
https://gkcx.eol.cn/school/search?schoolflag=&fromcoop=bdkp&is_recruitment=1&province=&cityname=
上图就是对应的网页,通过分析发现,数据是通过异步请求方式进行加载,因此打开Network,查看数据包,找到了数据在下面的数据包中
打开返回的json数据
可以看到数据已经获取到了,并且是在data下的item里面。
下一页分析
请求的异步链接:
https://api.eol.cn/gkcx/api/?access_token=&admissions=¢ral=&department=&dual_class=&f211=&f985=&is_doublehigh=&is_dual_class=&is_recruitment=1&keyword=&nature=&page=1&province_id=64&ranktype=&request_type=1&school_type=&signsafe=&size=20&sort=view_total&type=&uri=apidata/api/gk/school/lists
通过异步链接可以发现,参数page是页面,province_id是对应的省份id&#