Ajax动态加载页面如何爬取、下拉框selenium爬取？

1、所遇问题描述

最近需要爬取一个网站里面的内容，网页里面的内容有下拉选择项，如图所示：

笔者一直以为这是一个下拉框选项，打开网页的“查看元素”，图如下：

并没有笔者搜索的到的下拉框的选项，百思不得其解，将问题描述给其他人听，才知道这是Ajax动态加载页面。于是就去搜集资料解决问题。

2、问题解决方法

搜索到一篇“爬取通过ajax动态加载的页面（实时监控华尔街见闻资讯与快讯)（url:https://blog.csdn.net/lzw2016/article/details/79327340）”，里面介绍ajax动态加载页面，用户每发送一次请求，网页会时时变化，但其网址不会发生改变。下面，笔者就自己抓取：中国教育在线中，北京大学在各个省份不同科目不同批次的录取分数线，为例介绍如何解决ajax动态加载页面的问题。

打开网页--->‘查看元素’——>‘网络’——>刷新页面：

在这幅图中，单击左边栏，查找你所需要的信息，在右边栏，可以获得对应的网页源码网址和响应头信息。笔者所需可以根据请求网址所得：

图中网址北京大学，在北京录取理科一批的分数情况请求网址，发现网址中的数字皆有规律，所以修改其中数字，得到了其他省份的录取分数。

3、根据规则爬取网页

剩下的部分就是静态页面获取和提取所需信息的部分了。当然，除了发现网址规则和修改规则外，还有一种方式就是发送请求响应，这一部分，笔者不再阐述，感兴趣的读者自行查找资料。