前嗅ForeSpider采集教程：通过关键词的【检索列表】采集【检索结果】

 

 

以百度搜索关键词（http://www.baidu.com）为例：

一. 网站结构

1. 网站截图说明

使用批量关键词，从百度检索列表依次进入检索结果页，采集结果页里的正文数据。

检索列表页

 

检索结果页

 

2. 采集结果截图

检索列表链接

 

检索结果数据

 

二. 配置模板

1. 新建任务

新建任务

 

点击【下一步】，需要采集全部检索结果，所以此处需要勾选【链接列表】和【普通翻页】，如图：

新建采集任务

 

2. 配置关键词

配置关键词

 

① 内置浏览器显示搜索页面后，按照提示：ctrl+左键单击搜索框，点击右下角【完成】。点击右上角【保存】，保存任务配置。

保存关键词配置

 

② 关键词列表处，填写关键词，并点击保存。

填写关键词

 

3. 采集预览

看关键词检索的链接是否能够出来，如果没有出来，应该使用脚本采集；如果可以出来，则继续操作。

 

4. 过滤链接列表

①用定位过滤链接，过滤关键词检索出的列表链接。

定位过滤列表链接

 

② 采集预览，看是否过滤成功。

采集预览出现链接均为网页中关键词检索列表中的链接，过滤成功。

采集预览

 

5. 过滤翻页链接

①用定位过滤链接，过滤翻页链接。

定位过滤翻页链接

 

② 采集预览，看是否过滤成功

采集预览出现链接均为翻页的链接，过滤成功。

采集预览

 

6.关联模板

通过关联模板，可以设置该链接将要跳转的下一层级页面。通过模板之间的关联，可以将网站各层级页面关联起来，在软件中形成与浏览器相同的跳转结构，从而完整地采集数据。

关联模板

 

如果没有创建模板02，可以自行创建模板。

新建模板

 

7. 填写示例地址

模板二是为了抽取正文数据，故勾选【抽取数据】，并填写示例数据。

①选取任意一条检索结果的网址，也就是模板一过滤得到的任意一条链接，作为模板二的示例地址。

填写示例地址

 

②点击【下一步】，自动生成数据抽取。

如果没有自动生成，则新建数据抽取。

新建数据抽取

 

8. 创建/选择表单

表单创建后可以重复选择使用，如果已有建好的表单，选择对应数据表单即可。如果没有，点击创建表单。

创建表单

 

9.配置表单

根据所需内容，配置表单字段，此处配置了包括网页标题、网页地址、全部文本三个字段。=>（字段各属性介绍）

方式一：快速建表。（点击【创建表单】出现弹窗。）

配置表单

 

方式二：自由建表。（在【数据建表】界面。）

字段取值

 

 

10.字段取值

①f_id：主键字段，自动取值。=>（能够自动取值的字段有哪些？）

②web_title：通过字段定位取值，按ctrl+单击标题，确认选取。

字段取值

 

③web_link：自动获取url地址。

web_link

 

11. 关联数据表

先选择对应表单，然后再创建关联数据表，如图所示。

创建关联数据表

 

定义表名称

 

勾选数据表

 

 

12. 模板预览

通过预览，可以了解配置是否能够正确地采集到所需数据。

方式一：点击【采集预览】按钮，可以从入口页逐层预览各个模板的数据。

点击任意一条链接，看看是否可以得到和网页对应的规整的数据。

 

方式二：右键后选择【模板预览】，可以单独预览某个模板的数据。

模板预览

 

预览结果

 

三.数据采集

1. 运行设置

运行设置处可以设置采集速度、采集策略、任务装载等。

运行设置

 

1. 选择采集任务

在【任务列表】中勾选需要采集的任务，可勾选多个任务，同时采集。

选择采集任务

 

3. 开始采集

点击【开始采集】，系统开始进行采集。剩余任务数为0时，系统自动停止采集。用户也可以自己暂停任务或停止任务（停止任务会释放任务，再次启动时重新装载任务）。

开始采集

 

4. 数据浏览

采集一段时间以后，点击【数据浏览】，在数据列表中选中对应的数据表，即可浏览采集到的数据，点击【刷新】按钮可以同步显示数据。

数据浏览

 

5. 导出数据

点击【导出】按钮，选择导出文件格式后保存。

导出数据

 

导出数据