- 如果待采集的网站是通过ajax进行渲染的,首先需要安装配置ajax渲染器,然后在配置模板时在最下方的
是否是ajax网页
处打钩,即可采集ajax渲染的网页。下面介绍ajax渲染器的部署方法。
首先安装phantomjs,然后下载脚本点击下载。建议将此脚本放在phantomjs的bin目录下。需要注意的是,phantomjs需要安装在不包含空格和中文的路径下。 安装完毕之后,使用phantomjs启动此脚本即可,启动时需要带一个端口参数,建议值:7788.如果ajax渲染器与采集平台不在同一台机器或者不使用此端口(7788),需要在src/resource/staticvalue.json
配置文件中修改。
启动完毕后访问http://localhost:7788/
,如可访问,并展示类似下面的信息,则说明安装成功。
history字段表示最近的几次渲染请求信息,如果刚刚安装好,从未使用过,此处为空。
{
"status": "OK",
"history": [
{
"proxy": "",
"jsViewportWidth": 1024,
"jsViewportHeight": 1024,
"loadImages": false,
"timeout": 5,
"url": "http://news.qq.com",
"method": "get",
"data": ""
}
]
}