python爬虫之动态HTML、Selenium详解、Selenium3.141+PhantomJS / chrome / firefox66+webdriver / gecodriver配置问题全解

动态HTML

1、爬虫与反爬虫

俱进~

2、动态HTML介绍

-JavaScript

-jQuery

-Ajax

-DHTML

-Python采集动态数据

        -从Javascript代码入手采集

        -Python第三方库运行JavaScript，直接采集在浏览器看到的页面

3、Selenium + PhantomJS

（1）Selenium：WEB自动化测试工具

        -自动加载页面

        -获取数据

        -截屏

        -安装：pip install selenium==2.48.0(或者其他版本，直接用pycharm里的settings装也行)

        -官网：http://selenium-python.readthedocs.io/index.html

                    https://selenium-python.readthedocs.io/installation.html

        -官方说明文档：https://www.seleniumhq.org/docs/index.jsp

 

（2）PhantomJS（幽灵浏览器）

现在已经宣告退出了，以后用其他的吧，谷歌、火狐都行，具体安装配置往下看

        -基于Webkit的无界面的浏览器（爬下来并执行代码）

        -官网：http://phantomjs.org/download.html

 

（3）Seleni