可以先看看集搜客gooseeker开源爬虫项目
里面使用了一个 Selenium库的东西,可以调用浏览器渲染页面,然后处理渲染后的页面
Selenium与PhantomJS搭配采集动态网页内容是比较经典的方案,PhantomJS可以在后台实现页面的渲染,而不是调用浏览器完成
可以先看看集搜客gooseeker开源爬虫项目
里面使用了一个 Selenium库的东西,可以调用浏览器渲染页面,然后处理渲染后的页面
Selenium与PhantomJS搭配采集动态网页内容是比较经典的方案,PhantomJS可以在后台实现页面的渲染,而不是调用浏览器完成