- 博客(1)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 如何设计一个健壮而且厉害防爬策略
0.首先你得有一个能扛住爬虫的可以计算黑白名单的数据库，当然我们选择redis，单台 qps 达到20000+，杠杠的，然后你得在不影响业务的情况下来验证爬虫，我们可以通过异步读取nginx的access.log进行校验，前台只需要在关键的功能点判断一下ip是否在黑名单即可 1. 同一个ip在某个功能点一秒两次请求算爬虫，将ip加入黑名单，防住大部分的爬虫 2 .截取一段请求列表，如果某一个u...
2018-01-08 21:50:41
455
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人