基于爬虫行为进行反爬

1. 基于请求频率或总请求数量

• 通过请求ip/账号单位时间内请求总量进行反爬
• 通过统一ip/账号请求之间的间隔进行反爬
• 通过对请求ip/账号每天请求次数设置阈值进行反爬

2. 根据爬虫行为进行反爬，通常在爬取步骤上做分析

• 通过js实现跳转来进行反爬
• 通过蜜罐（陷阱）获取爬虫ip（或者代理ip），进行反爬
• 通过假数据进行反爬
• 阻塞任务队列
• 运维平台综合审计