User-Agent反爬虫的原理和绕过方法

大家好，我是志斌~

昨天的文章已经简单给大家介绍过反爬虫了，那我们今天就不再废话，直接来学信息校验型反爬虫中的User-Agent反爬虫。

一、定义

User-Agent是一种请求头，服务器可以从User-Agent对应的值中来识别用户端使用的操作系统、浏览器、浏览器引擎、操作系统语言等等。

浏览器User-Agent通常由浏览器标识、渲染引擎标识、版本信息这三部分来构成。我们可以在这个位置来查看我们的User-Agent请求头值。

二、原理

我们通过浏览器来获取数据的方式是这样的：

我们通过爬虫来获取数据的方式是这样的：

所以，我们的爬虫程序，实际上是模拟浏览器对服务器发送请求来获取数据的。

在向服务器发送的网络请求中，User-Agent是客户端用于表明身份的一种标识。所以，反爬虫工程师可以将一些爬虫程序的请求头放入服务器访问的黑名单中，当有网络请求时通过检测User-Agent请求头域值来判断客户端的类型，将其与黑名单中数据进行比对ÿ