python做动态数据采集仪代理_九四采集器(py/python)采集器设置动态代理IP图文教程...

说明:为什么要使用动态代理进行采集,主要是因为针对封ip之类问题解决,使用了动态代理ip就无法进行ip封禁,不影响采集。

直入正题,首先要配置搭建采集器,这里不做赘述。

注:下载地址在底部。

采集器配置正确后开始代理配置,如图教程:

1、登录采集器后台

2、点击【规则列表】如图:

3、点击编辑规则,如图:

4、开始配置规则代理:

①、站点设置,这里要关闭过缓存,如图所示:

②、小说列表采集设置:

这里是通过替换的方式把采集器要获取的地址替换成通过api接口获取的方法,如图所示:

③、封面配置代理方法:

点击小说信息页采集下拉,找到封面替换规则,同样和上面一样,也是通过替换达到代理目的,如图所示:

4、内容地址配置方法:

找到【小说章节采集】,下拉在找到地址替换规则,然后进行替换,方法如图所示:

通过上面的配置基本就可以实现动态代理功能了

注意:必须关闭【站点设置】的过缓存,不然无法获取数据。

测试规则的时候内容获取如果失败,看下章节地址替换后的结果是否正常,如果错乱或者有多余字符串在【章节地址替换】重新开一行进行多余替换,这里支持正则替换,如不明白请联系技术客服进行协助配置。

九四采集器免费版下载地址:九四采集器

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值