webbrowser 百度列表点击_前嗅ForeSpider采集教程:关键词的「检索列表」采集「检索结果」...

以百度搜索关键词(http://www.baidu.com)为例:

一. 网站结构

  1. 网站截图说明

使用批量关键词,从百度检索列表依次进入检索结果页,采集结果页里的正文数据。

cad25be6e66c94994f9cc9b2fd60a8d8.png

检索列表页

7b41415695156ce97fcd4e76bddc5631.png

检索结果页

2. 采集结果截图

5b2ae189ad015a572dbf28fe90f492db.png

检索列表链接

ba10cfded99d90670e5332649f24cf94.png

检索结果数据

二. 配置模板

  1. 新建任务
f976140817dc1f1604ac6c1777a774f2.png

新建任务

点击【下一步】,需要采集全部检索结果,所以此处需要勾选【链接列表】和【普通翻页】,如图:

a9396a12997e5b7190af2d5129c2a1fa.png

新建采集任务

2. 配置关键词

88ef87a9158a043abf3674b91bf4c078.png

配置关键词

① 内置浏览器显示搜索页面后,按照提示:ctrl+左键单击搜索框,点击右下角【完成】。点击右上角【保存】,保存任务配置。

c175921dd8537cabde7cb45cee637bea.png

保存关键词配置

② 关键词列表处,填写关键词,并点击保存。

a8d5eaf41126b634c8666fc5c19eca83.png

填写关键词

3. 采集预览

看关键词检索的链接是否能够出来,如果没有出来,应该使用脚本采集;如果可以出来,则继续操作。

4. 过滤链接列表

①用定位过滤链接,过滤关键词检索出的列表链接。

51cb4d81c8471e35cccea403886b0039.png

定位过滤列表链接

② 采集预览,看是否过滤成功。

采集预览出现链接均为网页中关键词检索列表中的链接,过滤成功。

8201bbf91f07834287eb4b8c5633f255.png

采集预览

5. 过滤翻页链接

①用定位过滤链接,过滤翻页链接。

14ae9faf9d3606a1f0bd6697c3119244.png

定位过滤翻页链接

② 采集预览,看是否过滤成功

采集预览出现链接均为翻页的链接,过滤成功。

db4b736bfbb9f668f731c42b581fdb2b.png

采集预览

6.关联模板

通过关联模板,可以设置该链接将要跳转的下一层级页面。通过模板之间的关联,可以将网站各层级页面关联起来,在软件中形成与浏览器相同的跳转结构,从而完整地采集数据。

550f74f6add16d929857a54334a538c8.png

关联模板

如果没有创建模板02,可以自行创建模板。

a6b97f13b7b483b18d0d7482bf06986f.png

新建模板

7. 填写示例地址

模板二是为了抽取正文数据,故勾选【抽取数据】,并填写示例数据。

①选取任意一条检索结果的网址,也就是模板一过滤得到的任意一条链接,作为模板二的示例地址。

d3503c2be299989d239d8b7b1b78ce1a.png

填写示例地址

②点击【下一步】,自动生成数据抽取。

如果没有自动生成,则新建数据抽取。

51e158891a6c65f29c6c8f34b81cc31e.png

新建数据抽取

8. 创建/选择表单

表单创建后可以重复选择使用,如果已有建好的表单,选择对应数据表单即可。如果没有,点击创建表单。

84ddbca8456bd69c0fd5a5b3fb7871b8.png

创建表单

9.配置表单

根据所需内容,配置表单字段,此处配置了包括网页标题、网页地址、全部文本三个字段。=>(字段各属性介绍)

方式一:快速建表。(点击【创建表单】出现弹窗。)

e1c90c56241f4c13d187813f709d1c7d.png

配置表单

方式二:自由建表。(在【数据建表】界面。)

1bd86941ab1febe740028612bccb7458.png

字段取值

10.字段取值

①f_id:主键字段,自动取值。=>(能够自动取值的字段有哪些?)

②web_title:通过字段定位取值,按ctrl+单击标题,确认选取。

dee7942c501140bd1ea8515c91780439.png

字段取值

③web_link:自动获取url地址。

2948684a274df59643744ca3b0a6e2cf.png

web_link

11. 关联数据表

先选择对应表单,然后再创建关联数据表,如图所示。

9846cf3f8136f989541ca472a0dee476.png

创建关联数据表

65bf48865abe885426298159ac1de212.png

定义表名称

cea8fd55b5066ddee89bb84f8a0da42e.png

勾选数据表

12. 模板预览

通过预览,可以了解配置是否能够正确地采集到所需数据。

方式一:点击【采集预览】按钮,可以从入口页逐层预览各个模板的数据。

点击任意一条链接,看看是否可以得到和网页对应的规整的数据。

787f2d7a4c49105c6dfd1b765d898aab.png

方式二:右键后选择【模板预览】,可以单独预览某个模板的数据。

19fd3765ec2127aa7f2f5f37432150ee.png

模板预览

e91457bdbe151a1d631a023bab3cf6e6.png

预览结果

三.数据采集

1. 运行设置

运行设置处可以设置采集速度、采集策略、任务装载等。

89231e0ffc90cb19320da60ca13cb944.png

运行设置

1. 选择采集任务

在【任务列表】中勾选需要采集的任务,可勾选多个任务,同时采集。

f6af53552da9602d09dc36d0a6272cbd.png

选择采集任务

3. 开始采集

点击【开始采集】,系统开始进行采集。剩余任务数为0时,系统自动停止采集。用户也可以自己暂停任务或停止任务(停止任务会释放任务,再次启动时重新装载任务)。

45079cd8a6c71c79ed3413b7085cfd4c.png

开始采集

4. 数据浏览

采集一段时间以后,点击【数据浏览】,在数据列表中选中对应的数据表,即可浏览采集到的数据,点击【刷新】按钮可以同步显示数据。

3e02ab99710e66a6b946c7831250d4f7.png

数据浏览

5. 导出数据

点击【导出】按钮,选择导出文件格式后保存。

19fab199654bab89508df85ebf051bd4.png

导出数据

b15017e544de487c53f3fa693b5a21c3.png

导出数据

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值