phantomjs简介
phantomjs实现了一个无界面的webkit浏览器。虽然没有界面,但dom渲染、js运行、网络访问、canvas/svg绘制等功能都很完备,在页面抓取、页面输出、自动化测试等方面有广泛的应用。
对于深层ajax网站的爬虫,phantomjs这种无界面浏览器简直就是这种网站的杀手,虽然效率远非curl ,但结果是妥妥的, 有时候分析js代码实在是头疼。
1.phantomjs编译
sudo apt-get install build-essential chrpath git-core libssl-dev libfontconfig1-dev libxft-dev
git clone git://github.com/ariya/phantomjs.git
cd phantomjs
git checkout 1.9
./build.sh
编译完成之后。bin目录下面就是 我们需要的 phantomjs了 。
进入bin目录输入
./phantonjs -v
就可以查看版本号
当前版本 :2.0.0
2.casperjs编译
git clone git://github.com/n1k0/casperjs.git
获取最新版本的 casperjs。
当前版本:1.1-beat3
casperjs如果下载压缩包,一定会报错,需要修改