php 爬虫 执行js,PHP 爬取需要运行 JS 的页面 (Run JS While Grabing Web Page With PHP)

初衷

近日在学习爬虫的时候遇到一个小问题，当在抓取某些网页的时候，在线测试通过的正则匹配在用PHP抓取时却发现只能抓取某些非关键元素。

经过排查，才发现在抓取该页面(是一个电商页面)时，该页面的详情页面是通过JS二次请求动态添加上去的，而PHP(通过curl函数库的方式)只是将其静态页面抓下，所以正则匹配的不是整个渲染好的完整页面，而是一个隐藏了详情板块的页面。

解决方案

大致涉猎了一下，一般业界的解决方法有二：

分析JS文件，模拟JS中的请求

想方法运行JS，抓取JS运行渲染完毕后的页面(本文讲述的方法)

phantomjs



phantomjs 基于WebKit、开源的服务器端JavaScript API, 采用了WebKit内核的phantomjs可以模拟浏览器运行网页，可以浅显的把它理解为除了把访问的页面显示出来。

除此之外，其他浏览器具备的功能它都有了(DOM handling, CSS selector, JSON, Canvas, and SVG)，所以可以通过调用它来运行含有JS文件且需要运行的html页面，当然它的用处肯定不止这些，web测试，页面截图，网络监控等等(详见官网文档)。

解决步骤

Step.1 下载(编译)phantomjs文件

这里有两种方式：</