有时候在爬取网页信息的时候发现,我们想要得到的信息在网页源代码里根本找不到,但检查网页信息可以看到这些数据,比如有一次在爬取一个页面时看到以下信息:
以下是查看网页源代码:
以下是检查网页信息:
像以上情就可以用Selenium包来解决,Selenium是一个web的自动化测试工具,Selenium测试是直接运行在浏览器中,它是模拟真实用户操作浏览器,可以自动化运行一些命令,而且可以至此许多浏览器,所以我们可以安装一个Selenium包来解决以上问题,有关Selenium的使用可查阅相关文档。