14. UserAgent 反爬是如何实现的，来看看这篇博客 &

本篇博客实现 【爬虫训练场】 的第一个反爬案例，User-Agent 反爬。

什么是 User-Agent 反爬

User-Agent 反爬是一种防止网站被爬虫爬取的技术。

当爬虫向网站发送 HTTP 请求时，会在请求头中包含一个名为 “User-Agent” 的字段，该字段用于告知网站服务器请求来自哪种浏览器或爬虫。网站服务器可以通过检查这个字段来判断请求是由真实的浏览器发起的，还是由爬虫发起的。

如果服务器发现请求中的 User-Agent 字段不是某种常见浏览器的名称，就可能认为请求来自爬虫，并返回一个错误响应或拒绝请求。这就是 User-Agent 反爬的原理。

为了避免被 User-Agent 反爬，爬虫可以在发送请求时将 User-Agent 字段设置为某种常见浏览器的名称，从而使得服务器将请求识别为来自真实浏览器的请求。但这并不意味着爬虫可以随意爬取网站的内容，网站仍然可以使用其他手段来防止爬虫的滥用。

User-Agent 反爬是一种常用的反爬技术，但它并不是唯一的反爬手段。网站还可以使用其他技术来防止爬虫的滥用，例如：

• IP 限制：网站可以将访问权限限制在特定的 IP 地址范围内，从而拒绝来自其他 IP 地址的请求。
• 图形验证码：