说明:为什么要使用动态代理进行采集,主要是因为针对封ip之类问题解决,使用了动态代理ip就无法进行ip封禁,不影响采集。
直入正题,首先要配置搭建采集器,这里不做赘述。
注:下载地址在底部。
采集器配置正确后开始代理配置,如图教程:
1、登录采集器后台
2、点击【规则列表】如图:
3、点击编辑规则,如图:
4、开始配置规则代理:
①、站点设置,这里要关闭过缓存,如图所示:
②、小说列表采集设置:
这里是通过替换的方式把采集器要获取的地址替换成通过api接口获取的方法,如图所示:
③、封面配置代理方法:
点击小说信息页采集下拉,找到封面替换规则,同样和上面一样,也是通过替换达到代理目的,如图所示:
4、内容地址配置方法:
找到【小说章节采集】,下拉在找到地址替换规则,然后进行替换,方法如图所示:
通过上面的配置基本就可以实现动态代理功能了
注意:必须关闭【站点设置】的过缓存,不然无法获取数据。
测试规则的时候内容获取如果失败,看下章节地址替换后的结果是否正常,如果错乱或者有多余字符串在【章节地址替换】重新开一行进行多余替换,这里支持正则替换,如不明白请联系技术客服进行协助配置。
九四采集器免费版下载地址:九四采集器