前嗅ForeSpider脚本教程:链接过滤脚本

122 篇文章 0 订阅
122 篇文章 2 订阅

链接过滤脚本是地址和标题过滤中的脚本, 过滤类型必须选择脚本过滤时过滤脚本才能生效,过滤脚本用于处理复杂的链接或标题过滤需求。

 

一.可用全局对象(只读)

 

EXTRACT: 当前采集引擎[ 对象类型: extractor ]

DATADB: 当前连接的数据库[ 对象类型: dataBase ]

RESULT: 当前结果集对象[ 对象类型: result ]

URL: 当前采集的链接对象[ 对象类型: url ]

URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型: urltext ]

DOC: 当前采集的文档对象[ 对象类型: grabDoc ]

DOM: 当前采集文档的dom对象[ 对象类型: dom ]

ITEM: 当前链接dom树的href标签节点[ 对象类型: domItem ]

TMPL: 当前文档模板对象[ 对象类型: tmplTmpl ]

LINK:当前链接抽取对象[ 对象类型: tmplLink ]

VALUE:当前被过滤的字符串[ 对象类型: string ]

 

二.this对象

 

当前链接过滤[tmplFilter]对象。

 

三.脚本返回值

 

返回非0保留,否则过滤。

 

示例:

 

1.以下脚本过滤空白链接:

if(VALUE) 
return true;
else return false;

 

2.【标题过滤】以下脚本过滤标题的长度小于5个字符的链接:

if(VALUE.length>=5)
 return true;
 else return false;

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值