学习笔记 | python网络爬虫 反爬虫简介

01 反爬虫简介

网络爬虫的目的和手段

1. 通过User-Agent校验反爬

• 浏览器在发送请求的时候，会附带一部分浏览器及当前系统环境的参数给服务器，服务器会通过User-Agent的值来区分不同的浏览器。
  

2. 通过访问频率反爬

3. 通过验证码校验反爬

• 有部分网站不论访问频率如何，一定要来访者输入验证码才能继续操作。
• 例如，12306网站，不管是登陆还是购票，全部需要验证验证码，与访问频率无关。

4. 通过变换网页结果反爬

5. 通过账号权限反爬

爬取策略制定