[Python爬虫]Scrapy配合Selenium和PhantomJS爬取动态网页
Python世界中Scrapy一直是爬虫的一个较为成熟的解决方案,目前javascript在网页中应用越来越广泛,越来越多的网站选择使用javascript动态的生成网页的内容,使得很多纯html的爬虫解决方案失效。针对这种动态网站的爬取,目前也有很多解决方案。其中Selenium+PhantomJS是较为简单和稳定的一种。 Selenium是一个网页的自动化测试工具,其本身是用python编写
原创
2017-08-17 10:40:22 ·
4446 阅读 ·
1 评论