关于phantomjs配合PHP爬取数据

 

首先JS代码

var page = require('webpage').create(),
    system = require('system'),
    t, address;

if (system.args.length === 1) {
    console.log('Usage: loadspeed.js <some URL>');
    phantom.exit();
}

t = Date.now();
address = system.args[1];
page.settings.loadImages = false;//不加载图片，提升速度.
page.open(address, function(status) {
    if (status !== 'success') {
        console.log('FAIL to load the address');
    } else {
        setTimeout(function(){
            console.log("速度太慢，请程序员优化程序。");
            phantom.exit();
        }, 1000);
        t = Date.now() - t;
        console.log('Loading ' + system.args[1]);

        console.log('Loading time ' + t + ' msec');
    }
    phantom.exit();
});

 

PHP代码：

 

exec('E:\max\phantomjs\bin\phantomjs --output-encoding=utf8 --ignore-ssl-errors=true '.$_SERVER['DOCUMENT_ROOT'].'\skin\ickey.js https://www.baidu.com/s?wd=='.$q,$output_main);

 

注意

1.PHP执行命令别用配置好环境变量的命令，它有的时候识别不出来。

2.--output-encoding=utf8输出utf-8字符

3.--ignore-ssl-errors=true地址没有不报错。

4.可以加载jquery 拿里面的数据。

5.加头：page.settings.userAgent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36';（JS代码）