反爬与反反爬概念
反爬:有时企业不想自己的数据被别人拿到。这时就会设置反爬的手段,来不让爬虫获取数据。
反爬虫常用一些手段:
- 合法检测:请求校验(useragent,referer,接口加签 ,等)
- 验证码:识别文字、做题、滑动等
- 小黑屋:IP/用户限制请求频率,或者直接拦截
- 投毒:反爬虫高境界可以不用拦截,拦截是一时的,投毒返回虚假数据,可以误导竞品决策
- … …
反反爬:破解掉反爬手段,再获取其数据。所有的手段都能破解吗?
道高一尺魔高一丈,这是一场没有硝烟的战争,程序员VS程序员
虚假数据,可以误导竞品决策
- … …
反反爬:破解掉反爬手段,再获取其数据。所有的手段都能破解吗?
道高一尺魔高一丈,这是一场没有硝烟的战争,程序员VS程序员