php phantomjs爬虫,使用JS语言的PhantomJS工具爬虫

1.Mac OS X环境下载安装PhantomJS

在终端键入如下命令

brew update

brew install phantoms

然后可以验证phantomjs是否安装成功，键入

phantomjs --version

可以看到一个版本号，如：2.1.1

2.测试phantomjs

新建一个test.js文件，键入如下代码

console.log('Hello Word');

phantom.exit();

保存后在终端cd到此test.js文件的父文件夹下，再输入命令

phantomjs test.js

会打印Hello Word在终端。

3.熟悉phantoms

新建一个test2.js文件，键入如下代码

console.log('Loading a web page');

var page = require('webpage').create();

var url = 'https://github.com/SoftProgramLX?tab=repositories';

page.open(url, function(status) {

if(status != "success") {

console.log('FAIL to load the address');

phantom.exit();

} else {

console.log('Page is loaded!');

}

page.evaluate(function() {

// window.scrollTo(0,10000);//滚动到底部

//window.document.body.scrollTop = document.body.scrollHeight;

window.setTimeout(function() {

var plist = document.querySelectorAll("a");

var len = plist.length;

while(len) {

len--;

var el = plist[len];

el.style.border = "1px solid red";

}

}, 5000);

});

console.log(page.evaluate(function() {

var d = ''

var c = document.querySelectorAll('.repo-list-name > a')

var l = c.length;

for(var i = 0; i < l; i++) {

d = d + c[i].textContent + '\n'

}

d = d + '共有'+ l + '个demo' + '\n'

return d

}))

window.setTimeout(function() {

page.render("js.png");

phantom.exit();

}, 5000 + 500);

});

功能：

a.将打开的网页里的所有链接都加上"1px solid red"这样的边框。如下图：

js.png

b.将将网页截屏保存为js.png。如上图

c.将我的github里的demo名称都打印到终端或保存到txt文件。

输入命令

phantomjs test2.js

后打印到了终端，如下图：

0488388C-6C36-44F5-B03C-F2D9B7AF35D5.png

输入命令

phantomjs test2.js > result.txt

后保存到了txt文件，如下图：

64875951-4A04-496A-AF5F-DF60674AECD5.png

代码解析：

本例用我的github网址做测试，使用page.open(url, function(status)打开网址。

phantom.exit();需要关闭PhantomJS。

page.evaluate()提供了在page打开页面的上下文执行function的功能。

document.querySelectorAll("a")；这是查询所有的a元素。为了加上边框。

document.querySelectorAll('.repo-list-name > a')；这是查询class为repo-list-name的元素的直接后代a元素。为了取到所有demo的名称。

熟悉js与css是更好的操作PhantomJS爬虫技术的必要条件。

QQ:2239344645 我的github