Python爬虫：selenium动态加载HTML的常用方法【汇总笔记】

前言

        Selenium 是一个用于Web应用程序测试的工具。

        Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。

        这个工具的主要功能包括：

• 浏览器兼容性测试：测试应用程序看是否能够很好的工作在不同浏览器和操作系统之上；
• 系统功能测试：创建回归测试检验软件功能和用户需求；

• 支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。

        通过本篇，你将学会使用 selenium 动态加载HTML的技巧，包括：操作输入框，键盘，下拉条，页面跳转，标签内容读取...。

---

正文

        Selenium 是浏览器自动测试框架，模拟浏览器，驱动浏览器执行特定的动作，并可获取浏览器当前呈现的页面的源代码，可见即可爬。正是利用了这一特点，Python 可以实现对动态页面的渲染，做到可见即可爬。

一、chromedriver 驱动安装

        Selenium 相当于机器人，可以模拟人在浏览器中的行为，并自动处理浏览器中的行为，如：单击、翻页、输入数据、回车和删除cookie操作。 而 Chromedriver 是 Chrome 浏览器的驱动程序，可以移动浏览器。

1. 驱动程序介绍

        驱动器因浏览器而异，案例以 Chrome 浏览器为例，以下是各种浏览器及其相应的驱动程序：

浏览器	驱动地址
Chrome	http://chromedriver.storage.googleapis.com/index.html
Edge	https://developer.Microsoft.com/en-us/Microsoft-edge/tools/web驱动程序/
Firefox	https://github.com/Mozilla/gecko driver/releases
Safari