前嗅ForeSpider教程:配置关键词

对于通过关键词,在网页的搜索栏检索的情况,可以在软件中,通过配置关键词实现。那么,今天小编来为大家介绍:如何在前嗅ForeSpider中,配置关键词。

一,关键词配置的步骤

第一步:打开关键词采集设置
点击关键词采集按钮, “关键词采集”功能启动。

第二步:进行关键词采集配置
开启关键词配置后,在界面右下角会出现关键词配置向导,按照“关键词配置步骤”后面的提示进行操作。
在搜索关键词时,分为有验证码搜索和无验证码搜索两种方式。
(1) 无验证码
逐个单击关键词配置步骤中的按钮,根据提示一步步进行关键词配置。对于无验证码的情况,可以跳过“验证码”、“验证域”两步。
以凤凰网(http://news.ifeng.com/listpag...)为例:
① 按Ctrl+鼠标左键单击搜索栏,保存后关闭。
单击搜索栏:

clipboard.png

②点击“完成”
③按Ctrl+鼠标左键单击“搜索按钮”。

单击搜索按钮

clipboard.png

④配置关键词列表
在关键词列表区域添加关键词,可以用于关键词搜索。

关键词列表

clipboard.png

(2) 有验证码
逐个单击关键词配置步骤中的按钮,根据提示一步步进行关键词配置:
①按Ctrl+鼠标左键单击搜索栏,保存后关闭。
②按Ctrl+鼠标左键单击“验证码输入框”。
③按Ctrl+鼠标左键单击“验证码图片”。
④点击“完成”。
⑤按Ctrl+鼠标左键单击“搜索按钮”。

二,关键词书写规则

1.书写规则
①关键词之间用英文“;”或回车换行隔开。
②支持组内有两个关键词,组内关键词用英文“,”隔开。
③各组的关键词排列顺序必须保持一致。

2.填写方法
①保存:填写关键词后,保存生效。
②导入:支持导入txt格式的批量关键词文档,文档不超过5M大小。
③去重:自动去除重复的关键词。
④清空:清空关键词列表。

三,关键词的高级配置方法

  1. 需要“高级配置”的情况

使用可视化配置之后,依旧无法正确采集时,说明关键词可视化配置获取到的参数信息,缺失或有误。
需要通过点击“高级配置”按钮,在弹框中手动配置关键词参数。对比表单中的参数名称,手动添加各项参数。

  1. 高级配置介绍

参数是指网页请求数据时,返回的参数信息。
关键词配置-参数编辑

clipboard.png

(1)请求地址
①一般情况下,完成“关键词设置”后,请求地址会自动填充上。
②如果没有或者有误,可以手动进行添加。简单的请求地址可以通过观察,找到各项参数。复杂的请求地址需要借助浏览器的开发者工具。
(2)POST请求
用户根据目标网址不同,是否为POST请求,来决定是否选择POST。
(3)Cookie刷新方式
是指每采集每一条数据时,是否刷新采集地址入口页,以获取Cookie信息,可以参考开发者工具里面的Cookie看一下是哪种刷新方式。
①不刷新:无需刷新入口地址。
②首次刷新:数据采集时,只刷新一次入口地址。
③重复刷新:采集每个关键词时,都刷新一次入口地址。
(4)请求参数表
一般情况下,完成“关键词配置”后,请求参数表里的参数信息会自动填充上。如果没有填充或有误,则按照下文进行手动配置。

3.高级配置示例
以该网址为例,介绍如何手动添加参数表。http://www.soqi.cn/search.xht...
第一步:观察网址规律。
①请求地址:“?”前的地址是页面的请求地址。
②检索关键词:keywords。
③其他参数:“=”前是参数名称,“=”后是参数值。(如有验证码,参数类型中需要有“验证码”)
第二步:添加参数表。
点击添加按钮,添加参数。
添加参数表

clipboard.png

第三步:修改参数表。
修改参数表

clipboard.png

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值