Python爬虫教程之——详解http请求头中的User-agent与Referer

最新推荐文章于 2023-08-09 17:29:06 发布
最新推荐文章于 2023-08-09 17:29:06 发布
阅读量6.1k 收藏 13
点赞数 5
分类专栏： Python Web 文章标签： python 网络协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/EricNTH/article/details/104840887
版权

** 重要提示： 本文已迁移至我的个人博客：https://ericnth.cn/essay/2020/04/python-spider-ua-referer/，请前往此链接访问以获得最新的内容，以及更清爽的浏览体验。以下内容不再受到支持，请您注意。 **
欢迎关注我的公众号：Huayu_IT！里面有许多编程和计算机的有趣知识哦~
公众号：Huayu_IT，华育科技数码社

Hello大家好，我们又见面了！

这是我写的第一篇python文章，还望各位朋友们多多指教！
废话不多说，我们进入正题。

本文为EricNTH的原创博客，转载请注明出处！

目录

Http请求头（header）

写过python爬虫的人都知道，在用requests发送http请求时，都会有一个header。里面装了这次http请求的头信息。要想做好爬虫，设计好请求头是非常重要的，否则万一被反爬虫查出（很容易），得不偿失。

以下简介来自百度：

最低0.47元/天 解锁文章
EricNTH.CN
关注
  • 5
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫基础-User-Agent
菜鸟可以飞的博客
03-21 1313
一、基础知识篇：HttpHeader之User-AgentUserAgent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，UserAgent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访问谷歌和电脑访问...
python访问网页如何查看user-agent_HTTP请求头之User-Agent
weixin_39720807的博客
12-09 1318
前言之前学习北京理工嵩天老师的《Python网络爬虫与信息提取》时，爬取亚马逊的一款图书的详细信息时出现以下错误：![Upload 亚马逊爬虫.PNG failed. Please try again.]查看请求信息，发现我们一般写的爬虫会默认告诉服务器自己发送了一个Python爬取请求，而一般网站是不允许被爬虫访问的，估计是因为会涉及到商业问题。最后，通过更改User-Agent字段就可以轻易骗...
爬虫安全性加固措施：Referer、User-Agent等配置指南
最新发布
m0_69620538的博客
08-09 1248
在爬虫安全性加固方面，配置Referer、User-Agent等信息是不可或缺的环节。通过合理设置这些信息，我们可以更好地模拟正常用户的行为，提高爬虫的安全性和稳定性。本文转载自穿云API官方博客：爬虫安全性加固措施：Referer、User-Agent等配置指南 – 穿云API帮助教程。
python header设置随机user_agent
bensam的博客
10-14 687
python header设置随机user_agent 1 安装fake_useragent 　　pip installfake_useragent 2 使用 # -*- coding:utf-8 -*- from fake_useragent import UserAgent import random ua = UserAgent() headers = {'User-Agent': ua.random} 3 使用随机谷歌UA # -*- coding:utf-8 -*- from..
爬虫-Referrer
weixin_42649617的博客
11-15 3312
原理 我们知道，referer的作用就是记录你在访问一个目标网站时，在访问前你的原网站的地址，比如用Chrome从知乎的某个板块到另外一个，那么你在的这个网站就是原网站，按F12，选中Network选项，从页面内进入一个网站，可以从这个网站的header即头信息中看到referer就是原来的那个网站。 根据referer的作用可以知道，把网页地址复制到浏览器新页面的地址栏里，进行直接访问，这样的话就不会有referer，同样地，浏览器刷新也不会有referer。 referer的作用 由于referer是请
java设置userAgent,Referer等参数
颢喆的专栏
01-24 1246
设置userAgent connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon;)");
python request headers_python 3.x 爬虫基础---http headers详解
weixin_39901213的博客
12-11 466
前言上一篇文章python 爬虫入门案例----爬取某站上海租房图片中有对headers的讲解，可能是对爬虫了解的不够深刻，所以老觉得这是一项特别简单的技术，也可能是简单所以网上对爬虫系统的文档，书和视频感觉都好少，故此准备接下这段时间对爬虫涉及到的点做个系统的学习与总结。利用浏览器查看headers打开浏览器，按F12(开发调试工具)------》查看网络工作(Network)------》...
python爬虫请求头设置代码
09-16
在Python网络爬虫开发中，请求头（Headers）是一个至关重要的元素，因为它允许我们模拟不同的浏览器行为，从而更好地与目标网站交互。本文将详细介绍如何在Python的几个常见爬虫库中设置请求头。 1. **requests库...
Python爬虫:将headers请求头字符串转为字典的方法
01-01
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36 Accept: */* Referer: http://stock.hexun.com/gsxw/ Accept-Encoding: ...
python爬虫概述——深入了解爬虫原理
04-26
爬虫特别关注的请求头字段包括Content-Type、Host、Connection、Upgrade-Insecure-Requests、User-Agent、Referer、Cookie、Authorization等。爬虫也关注Set-Cookie响应头字段。 常见的响应状态码： 爬虫需要了解...
爬虫基础之Referer
chaocainiao的博客
03-27 1760
爬虫基础之Referer 有的网站会有referer,就是找到你从那个链接访问的当前页面 import requests url = 'https://www.pearvideo.com/video_1756291' headser = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36",
python爬虫快速添加请求头、随机生成user-agent
云霄IT的博客
03-12 4598
一、快速添加请求头 import re # 下方引号内添加替换掉请求头内容 headers_str = """ accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9 accept-encoding: gzip, deflate, br accept-language: zh-
获取referer_一分钟解读，爬虫中HTTP请求头中Referer的含义和作用
weixin_39707478的博客
12-05 2343
Referer请求头的一部分,表示一个来源。比如在www.google.com 里有一个www.baidu.com 链接，那么点击这个www.baidu.com ，它的header 信息里就有：Referer=http://www.google.comReferer 的正确英语拼法是referrer 。由于早期HTTP规范的拼写错误，为了保持向后兼容就将错就错了。其它网络技术的规范企图修正此问题，...
爬虫: 浏览器的 User-Agent 信息
Boys_Wu的博客
02-17 454
User-Agent：简称UA，它是一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息。在做爬虫时加上此信息，可以伪装为浏览器；如果不加，很可能会被识别出为爬虫。 确定自己浏览器的User-Agent信息： 步骤如下： 首先打开你的浏览器（本人使用的是google浏览器百度搜索引擎）输入：about:version 输入后，浏览器会跳出图中的界面，蓝色标出的“用户...
Python爬虫小偏方：修改referer绕开登录和访问频率限制
06-04 1937
看官们在写爬虫程序时应该都会遇到如下问题： 你的爬虫程序开发时能正常抓取网页，但是正式大量抓取时，抓取的网站总是返回403或者500等； 你抓取的网站需要登录，要花大量时间去研究网站登录流程。 ...
爬虫中 header 中常见的 user agent
YtdxYHZ的专栏
12-11 8867
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36 Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.284
爬虫之头信息设置 User-Agent
Ares_Yin的博客
08-06 2970
一、Http Header之User-Agent User Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标 识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计； 例如用手机访问谷歌和电脑访...
爬虫使用的各种USER_AGENT
蓝小白的博客
10-17 1635
下面是我写的一段代码, 调用这个函数可以随机返回一个请求头 USER_AGENT 就是每个浏览器的标识, 下面有手机端, 使用时注意要爬取的页面PC端跟手机端的HTML解析不同 import time import requests import random """ 用于返回一个随机的请求头 """ USER_AGENTS = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome
python 爬虫：requests抓取的页面信息和浏览器中看到的不一样
热门推荐
sxf_123456的博客
01-07 1万+
网址:https://www.rmfysszc.gov.cn/statichtml/rm_obj/108362.shtml 用 请求出的网页解析为 <div id="time1" style="width:100%; height:60px; text-indent:30px; font-size:14px; line-height:60px;color:#2f2f2f;font...
VBA写一个爬虫其中包含Host,Referer,User-Agent,Cookie请求头
05-21
以下是使用VBA编写基本的爬虫代码，并包含了Host、Referer、User-Agent和Cookie请求头： ``` Sub webScraping() Dim xmlHttp As Object Dim htmlDoc As Object Dim url As String Dim headers As String ' 设置请求URL和请求头信息 url = "https://example.com" headers = "Host: example.com" & vbCrLf & _ "Referer: https://www.google.com/" & vbCrLf & _ "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" & vbCrLf & _ "Cookie: SESSIONID=1234567890abcdef" ' 创建XMLHttpRequest对象 Set xmlHttp = CreateObject("MSXML2.XMLHTTP") ' 发送GET请求 xmlHttp.Open "GET", url, False xmlHttp.setRequestHeader "Content-Type", "text/plain;charset=UTF-8" xmlHttp.setRequestHeader "Connection", "keep-alive" xmlHttp.setRequestHeader "Accept-Language", "en-US,en;q=0.9" xmlHttp.setRequestHeader "Accept-Encoding", "gzip, deflate, br" xmlHttp.setRequestHeader "Cache-Control", "max-age=0" xmlHttp.setRequestHeader "Upgrade-Insecure-Requests", "1" xmlHttp.setRequestHeader "Pragma", "no-cache" xmlHttp.setRequestHeader "DNT", "1" xmlHttp.setRequestHeader "Sec-Fetch-Site", "none" xmlHttp.setRequestHeader "Sec-Fetch-Mode", "navigate" xmlHttp.setRequestHeader "Sec-Fetch-User", "?1" xmlHttp.setRequestHeader "Sec-Fetch-Dest", "document" xmlHttp.setRequestHeader "Sec-Ch-Ua", """Google Chrome"";v=""93"", "" Not;A Brand"";v=""99"", ""Chromium"";v=""93""" xmlHttp.setRequestHeader "Sec-Ch-Ua-Mobile", "?0" ' 添加自定义请求头 xmlHttp.setRequestHeader "Host", "example.com" xmlHttp.setRequestHeader "Referer", "https://www.google.com/" xmlHttp.setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" xmlHttp.setRequestHeader "Cookie", "SESSIONID=1234567890abcdef" ' 发送请求并获取响应 xmlHttp.send ' 解析响应内容 Set htmlDoc = CreateObject("HTMLfile") htmlDoc.body.innerHTML = xmlHttp.responseText ' 输出响应结果 Debug.Print htmlDoc.body.innerHTML End Sub ``` 请注意，上述示例代码仅供参考，并且具体的请求头信息需要根据实际情况进行调整。同时，还需要注意网站是否允许爬虫访问，否则可能会触发反爬虫机制。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值