使用Selenium模拟浏览器，实现自动爬取数据

最近需要在一个网站下载一批数据。但是输入一个查询，返回三四万条结果，每次只能导出500条，而且每次还得输入下载条目的范围！这样点击下载，还不要了我的老命。于是乎想自动化这个过程。

我的需求主要是两点：1. 要求自动化程度高。最好有直接模拟浏览器鼠标和键盘动作的成熟接口，比如在文本框输入，选择下拉列表，单选框，复选框，点击按钮等。2. 不要求效率。因为我要的数据量相对来说很小。3. python下的框架。因为平时几乎主要用python。

我不太懂网站技术，和网站沾边的经验只有两个：开发过一个很简单安卓的客户端，用python的scrapy框架写过爬虫来自动爬取新闻。所以了解一些客户端和服务端基本的交互方式、了解如何分析网页源代码、了解xpath语法。

刚开始针对这个问题，我连搜啥都不太清楚。知乎的这篇文章提供了很多有用信息：“Python 爬虫如何获取 JS 生成的 URL 和网页内容？” 顺着它我又权衡了很多方法，最后选择了Selenium。主要优点是学习成本极小，代码实现快。缺点是爬取效率低。想要高效率的朋友，就要花一些时间学习更复杂的工具包了。

网站技术

想要自动爬取网页，得了解一些基本的知识，这样做起来更快。这