HTTP请求头之User-Agent

最新推荐文章于 2024-06-24 15:22:35 发布
最新推荐文章于 2024-06-24 15:22:35 发布
阅读量3.5k 收藏 4
点赞数 3
文章标签： http 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42370553/article/details/120573551
版权
本文介绍了HTTP请求头中的User-Agent字段，解释了其组成部分，包括Mozilla/5.0、平台信息、引擎版本和浏览器版本，并说明了如何通过更改User-Agent字段避免爬虫被网站识别。还提供了查看和构造User-Agent的简单方法。
摘要由CSDN通过智能技术生成

前言

之前学习北京理工嵩天老师的《Python网络爬虫与信息提取》时，爬取亚马逊的一款图书的详细信息时出现以下错误：

![Upload 亚马逊爬虫.PNG failed. Please try again.]

查看请求信息，发现我们一般写的爬虫会默认告诉服务器自己发送了一个Python爬取请求，而一般网站是不允许被爬虫访问的，估计是因为会涉及到商业问题。最后，通过更改User-Agent字段就可以轻易骗过该网站。

那么User-Agent到底是什么呢？
User-Agent会告诉网站服务器，访问者是通过什么工具来请求的，如果是爬虫请求，一般会拒绝，如果是用户浏览器，就会应答。

又该如何使用呢？

调试工具

最简单的方法就是按照下面步骤进行

  • 打开你要爬虫的网页
  • 按键盘的F12或手动去浏览器右上角的“更多工具”选项选择开发者工具
  • 按键盘的F5刷新网页
  • 点击Network，再点击Doc
  • 点击Headers，查看Request Headers的User-Agent字段，直接复制
  • 将刚才复制的User-Agent字段构造成字典形式

什么？你想搞懂这个User-Agent字段，然后自己构建。

User-Agent字段解释

详细版解释：

最低0.47元/天 解锁文章
Used the same
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
请求头中的用户代理 User-Agent
我心坚持
07-19 7746
一、用户代理 User-Agent 可以简称为 UA 在使用代码模拟网络请求时，很多网站会拒绝访问，如 https://blog.csdn.net/weixin_39720495/article/details/102698643 遇到的问题 添加user-agent字段，网站就会知道该请求时来自于一个 mac 的桌面浏览器，会返回一个桌面版的界面。 二、UA 的基本概念： 一、概念 user agent 用户代理，代表用户行为的软件代理程序提供的一个标识符 二、结构 USER_AGENT = Mozill
使用python爬取重庆二手房的信息，得到的数据写到csv文件
weixin_44614751的博客
12-18 2606
实验目的：用python语言解决实际问题。 实验要求：独立完成，并上机实践 实验内容： 分析某房产网站，利用python程序爬取重庆市二手房信息，至少爬取2万条数据以上。并且把该二手房信息存入一个Excel文件或csv文件。 实现过程： 1、导入的包 import requests from lxml import etree import re import csv 说明：requests 是用...
自定义User-Agent：使用Python Requests进行网络请求
最新发布
Z_suger7的博客
06-24 1377
requests是一个Python第三方库，用于发送HTTP请求。它简单易用，支持各种HTTP方法，如GET、POST、PUT、DELETE等，并且可以方便地添加请求头、Cookies、查询字符串等。在requests库中，可以通过headers参数来自定义User-Agent。# 定义自定义User-AgentWin64;# 发送GET请求# 打印响应内容。
HTTP头文件User-Agent解读
淮海工学院 缠小溪(Java/C++)
07-22 1478
什么是User-Agent User-Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。一些网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面，因此可能造成某些页面无法在某个浏览器中正常显示，但通过伪装 UA 可以绕过检测。 浏览器的UA字串 标准...
HTTP请求中User-Agent的详细解读
Yuppie001的博客
12-21 3081
用户代理（User-Agent）字符串是一种在HTTP协议中用来识别发起请求的客户端信息的机制。这个字符串通常包含了关于客户端软件的类型、版本、所用操作系统和/或其他环境信息。它在Web服务器的日志中可见，也可以在浏览器的请求头中找到。
使用 Nginx 内置 $http_user_agent 来区分（ 电脑 pc、手机 mobile、平板 pad ）端的内容访问...
weixin_34212762的博客
06-21 1789
location / { #pc端内容访问 set $flag "pc"; set $num 1; set $hua "${http_user_agent}"; set $iospad "${http_user_agent}"; set $androidpad "${http_...
爬虫入门04——requests库中的User-Agent请求头
xjl243636988的博客
07-06 4816
QQ浏览器 Android版本。世界之窗（The World）傲游（Maxthon）浏览器
webview添加参数与修改请求头的user-agent实例
08-19
在 http 请求头中，有 user-agent，服务端可以根据请求头的 user-agent 来判断当前是什么设备访问的。WebView 中提供了修改 user-agent 的方法，具体使用方法将在下面介绍。 六、 shouldInterceptRequest 方法 ...
浅谈Okhttp去除请求头user-agent
08-28
"浅谈Okhttp去除请求头user-agent" Okhttp是一个流行的Android网络请求库，它提供了一个简洁的API来发送HTTP请求。然而，在某些情况下，我们需要去除请求头中的User-Agent信息，以避免服务器端的检测或其他原因。本...
App端user-agent请求头大全，几千个ua
10-15
### App端User-Agent请求头详解 #### 一、User-Agent简介 User-Agent（简称UA）是HTTP请求头的一部分，用于向服务器发送客户端浏览器的信息。它包括操作系统类型、浏览器名称及版本、设备型号等数据。在Web开发、...
web端user-agent请求头
10-15
### Web端User-Agent请求头详解 #### 一、User-Agent简介 User-Agent（用户代理）是一种HTTP头部字段，用于浏览器或其他客户端向服务器发送请求时标识自身的信息。它可以帮助服务器识别客户端的操作系统、浏览器...
python爬虫常用浏览器请求头
冻梨不是梨的博客
08-12 1825
user_agent = [ "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50", "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) Ap...
数据分析训练营-urllib实战与反爬策略-header伪装
lildn的博客
12-09 160
import random # pc端的user-agent user_agent_pc = [ # 谷歌 'Mozilla/5.0.html (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.html.2171.71 Safari/537.36', 'Mozilla/5.0.html (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, lik
关于HTTP_USER_AGENT
weixin_34247299的博客
06-09 150
HTTP_USER_AGENT是用来检查浏览页面的访问者在用什么操作系统（包括版本号）浏览器（包括版本号）和用户个人偏好的代码。   $_SERVER['HTTP_USER_AGENT']。 其中需要检查用户的 agent 字符串，它是浏览器发送的 HTTP 请求的一部分。 如：var_dump($_SERVER['HTTP_USER_AGENT']); 输出：string(65) "M...
HTTP_USER_AGENT
weixin_34306446的博客
08-07 193
<!DOCTYPE html><html><head><meta charset="UTF-8" /><title>Welcome to nginx!</title></head><body><h2>php $_SERVER['HTTP_USER_AGENT']</h2><...
Nginx HTTP User_agent
热门推荐
一个想做dba的sa
09-03 1万+
假设我这里有大量图像、CSS、javascript等静态文件，分别放在后端服务器  192.168.1.5 和 192.168.1.6上，那么我如何利用nginx的反向代理功能将不同的 http_user_agent 请求发送到指定的服务器上呢？如 "Mozilla" 转发到 192.168.1.5 ，MSIE  转发到 192.168.1.6 。 Nginx web 服务器支持if条件
各大浏览器UserAgent总结
weixin_34245749的博客
04-07 415
浏览器navigator.userAgent备注 IE6 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) IE7 Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1) IE8 Mozilla/4.0 (compatibl...
http中的User-Agent
zhaoyingkun的专栏
03-05 2706
User-Agent在http头信息中可以找到，用来表明你的浏览器是哪一个，IE、FireFox等的UA都是不一样的，是用户向浏览器表明你的浏览器、操作系统信息的标示。 移动开发中UA使用也是很多的，因为各大网站为了统一到各移动操作系统的操作体验，对于IOS/Android所适配的网站是不一样的，可能有对js等脚本语言熟悉的朋友知道，我们可以用js从视频网页上抓到视频文件的真正地址。而对于一种网
HTTP请求头部信息中的User-Agent
03-11
HTTP请求头部信息中的User-Agent是用来标识发起请求的客户端应用程序或浏览器的身份信息。它通常包含了应用程序或浏览器的名称、版本号以及操作系统的相关信息。服务器可以根据User-Agent来判断客户端的类型，从而...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值