前嗅ForeSpider教程:采集预览

今天,小编为大家带来的教程是:如何在前嗅ForeSpider中,进行采集预览。主要内容包括:采集预览的使用方法,预览链接/数据抽取,和预览错误情况排查;具体内容如下:

一,采集预览的使用方法

1.采集预览
在正式采集之前,可以点击界面右上方的“采集预览”按钮,以查看配置是否正确。采集预览的结果和正式采集的结果是一致的,但是只采集没有入库。
采集预览的页面包括两种:链接信息(>>预览链接抽取)和数据信息(>>预览数据抽取)。双击链接条目,可以打开下一层页面。采集预览的页面结构和配置的模板列表结构是相同的,先预览的是模板一的采集结果,通过双击链接进入下层模板预览。

2.模板预览
或在模板列表右键,选择模板预览,可以直接查看当前模板的采集结果。

右键-模板预览

clipboard.png

二,预览链接抽取

1.未过滤
当仅输入了采集地址,没有配置模板时,点击“采集预览”可以看到采集源地址能够下载的所有链接。

2.过滤链接后
当配置了链接抽取后,可以根据链接地址或标题名称过滤掉无关的链接。可以在采集预览的窗口直接输入过滤串,进行地址过滤或标题过滤。可以看到采集的链接地址全部包含该字符串,剔除了不包含的链接。

预览链接抽取

clipboard.png

三,预览数据抽取

创建数据抽取,并为字段赋值之后,可以预览到已经抽取出来的数据。在链接抽取页面,双击某个链接,将打开下面的数据预览页面。
或在数据抽取节点,右键选择“模板预览”查看。

预览数据抽取

图片描述

四,预览错误情况排查

1.频道和模板的配置错误
①输入为空或不合法:频道配置的采集地址为空或不合法。
②模板分类错误:分类器错误。
③地址错误:采集地址不存在或已经失效。
④模板错误:模板不存在或已经损坏。
⑤频道入口配置错误:关键词搜索配置错误。
⑥文档类型错误:采集对象是不能够识别的文档。
⑦频道配置不合法:频道配置错误。

2.http下载错误
①服务器繁忙:采集对象的服务器繁忙。
②域名解析错误:域名解析出现错误。
③网页重定向:采集对象重新定向了新的地址。
④网页未找到:未找到请求资源。
⑤权限访问错误:方法禁止操作或权限不够。
⑥服务器错误:本机服务发生错误。
⑦网络错误:网络发生错误。
⑧https协议错误:ssl错误。
⑨代理服务器错误:代理错误。
⑩内容错误:下载的页面内容发生错误。
⑪用户取消下载:下载过程中用户过滤或取消。

3.文档类型无法识别
文档后缀与实际类型不符。

4.脚本执行出错
脚本配置出错。

5.数据错误
数据库插入、更新、删除、查询等发生错误。

6.未知错误
发生其他各类错误。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值