WebCollector 2.72自定义Http请求插件(定制User-Agent和Cookie等请求头)

本文介绍了WebCollector 2.72及更高版本如何使用OkHttpRequester进行自定义Http请求,包括设置User-Agent和Cookie等请求头。通过继承OkHttpRequester并覆盖`createRequestBuilder`方法,用户可以方便地定制Http请求行为,以满足特定爬虫需求。
摘要由CSDN通过智能技术生成

WebCollector从2.72版本开始,默认使用OkHttpRequester作为Http请求插件。继承OkHttpRequester可以轻松地定制各种Http请求功能,如设置User-Agent、Cookie等Http请求头,设置请求方法(GET/POST)和表单数据等。

官网地址:https://github.com/CrawlScript/WebCollector

OkHttpRequester是一个Requester插件(Http请求插件),这里补充一下,Requester插件的源码如下:

public interface Requester{

     Page getResponse(String url) throws Exception;

     Page getResponse(CrawlDatum datum) throws Exception;
}

其中第一个方法Page getResponse(String url)是第二个方法Page getResponse(CrawlDatum datum)的一个快捷方式。一般情况下,第一个方法的实现方式如下,只是为了给用户一个能输入url字符串来请求响应的接口。

@Override
public Page getResponse(String url) throws Exception {
    return getResponse(new CrawlDatum(url));
}

OkHttpRequester已经实现了

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值