00爬虫——关于UserAgent

最新推荐文章于 2024-09-04 08:07:56 发布

流年无罪

最新推荐文章于 2024-09-04 08:07:56 发布

阅读量579

点赞数

分类专栏： python爬虫文章标签：爬虫 python firefox

本文链接：https://blog.csdn.net/weixin_44188298/article/details/124891901

版权

本文探讨了User-Agent（UA）在爬虫中的作用，包括如何获取和重构爬虫的UA信息，以及如何构建UA代理池来防止因频繁访问被封IP。通过模拟不同浏览器和操作系统，爬虫能更好地模拟真实用户行为，降低被识别为爬虫的风险。

摘要由CSDN通过智能技术生成

预备问题：什么是UA？

User-Agent 即用户代理，简称“UA”，网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息，并通过判断 UA 来给客户端发送不同的页面。
当前浏览器UA信息：①浏览器名称 ②浏览器版本
③系统平台 ④UA信息

问题1：如何获取爬虫程序UA信息？

import urllib.request
response = urllib.request.urlopen('http://httpbin.org/get')
html = response.read().decode()
print(html)

#httpbin.org ①用于测试 HTTP 请求和响应的各种信息
#            ②cookie、IP、headers 和登录验证等
#            ③支持 GET、POST 等多种方法，

结果：

{
   
  "args": {
   }, 
  "headers": {
   
    "Accept-Encoding": "identity", 
    "Host": "httpbin.org", 
    "User-Agent": "Python-urllib/3.9", #可以判断出爬虫程序
    "X-Amzn-Trace-Id": "Root=1-6287ab2c-28122ec60a332cdc5a7219c3"
  }, 
  "origin"