本文介绍了如何使用Selenium进行动态网络爬取，包括Selenium与PhantomJS的配合以及Selenium与Headless Chrome的使用。通过实际案例展示了PhantomJS无法正确爬取动态内容的问题，并推荐使用最新版Selenium与Headless Chrome进行动态页面的抓取。此外，还提供了设置ChromeDriver的步骤，并给出了入门操作示例，演示了自动填写关键词并搜索的流程。
1 Selenium及其他插件安装
1.1 Selenium + PhantomJS T
由于目前最新的SeleniumE经放弃PhantomJs,所以大家在安装时首先要查看下你所安装的Selenium版本信息，在命令行(终端)中输入以下指令来查看Selenium的版本信息：
pip show selenium
如果发现你的版本248.0,需要执行以下操作进行卸载重装Selenium
(1) pip uninstall selenium
(2) pip install selenium==2.48.0
对于安装PhantomJS的方式，书本上已有Windows系统的安装过程，下面主要介绍Liunx系统的安装过程:
(1)官网下载http: //phantomjs . org/ download.html
(2) 解压(注意文件名可能会根据系统不同而改变) tar-xvf phantomjs-2.1.1-linux-x86 _64. tar .bz2
(3)移动到指定目录下同时重命名: sudo my phantomjs-2.1.1-1inux-x86_ 64 /usr/1oca1/ share/ phantomjs
(4)建立链接: **
In-s/usr/1pca1/share/phantomjs/bin/phantomjs /usr/1oca1/bin/ phantomjs**
下面以爬取人民邮电出版社页面(URL: https://www.ptpress.com.cn/ )内容进行一组对比测试:
最低0.47元/天 解锁文章
427
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
