处理带有：的请求头

最新推荐文章于 2023-12-30 13:28:42 发布
最新推荐文章于 2023-12-30 13:28:42 发布
阅读量372 收藏
点赞数
分类专栏： python爬虫 文章标签： 爬虫 Invalid header http2.0
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41733098/article/details/121364786
版权
本文探讨了如何处理requests库中遇到的'Invalidheadernameb':authority'错误，通过hyper.contrib引入HTTP20Adapter来规范化请求头，确保爬虫能够顺利处理https://xxxx.com的请求。
摘要由CSDN通过智能技术生成

当请求遇到上述问题时，我们编写的爬虫无法直接处理类似的请求头。

 会报如下错误：

ValueError: Invalid header name b':authority'

我们可以用hyper来处理这类问题

from hyper.contrib import HTTP20Adapter

sessions=requests.session()
sessions.mount('https://xxxx.com', HTTP20Adapter())
r=sessions.post(url_search,data=playload,headers=headers)

Spider boy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
常见的请求头和相应头内容
xiaoxiede_wo的博客
06-18 188
常见的请求头和相应头都有什么呢？ 1)请求(客户端->服务端[request]) GET(请求的方式) /newcoder/hello.html(请求的目标资源) HTTP/1.1(请求采用的协议和版本号) Accept: */*(客户端能接收的资源类型) Accept-Language: en-us(客户端接收的语言类型) Connection: ...
接口自动化测试requests模块详解
测试逍遥子的博客
09-10 874
一、requests背景 Requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。 二、requests安装 利用pip安装： $ pip install requests 三、requests使用 GET请求 1.基本的GET的请求 response = requests.get("http://www.baidu.com/")
猿人学17题-天杀的http2.0
m0_46623754的博客
12-05 913
前言：我们来了解一下http2.0，http2.0是为了加快网页渲染速度所发布的新的协议，我们之前使用的request只能够get请求到http1.0的数据而http2.0就没有办法了，所以为了爬取http2.0的数据，我们需要了解一个第三方库hyper来帮助我们获取数据，有了hyperlpr库在手，抓取数据简直轻轻松松。hyper使用文档 http协议版本在这里查看 1.安装hyperlpr库 pip install hyper -i https://pypi.douban.com..
文盲的Python入门日记：第三十一天，稍稍完善一下爬虫类，用来支持http2.0，以及当前完整代码
文盲的专栏
07-07 546
现在已经有越来越多的站点使用了http2.0协议了，他们在做防采集的时候，针对2.0特有的请求头做了一些验证，那么，我们之前写的采集类就不适用了，需要做一下调整，很小的改动哦 首先，我们要安装 hyper 这个包，记得是在命令行运行，不是在python环境里哦 pip install hyper 然后调整Http方法，追加一个参数 def Http(self,url,method=Method.GET,postdata=None,http=1): 然后在 send 请求前，加上一句判断
python爬虫之请求头报错：ValueError: Invalid header name b‘:authority‘
热门推荐
六五酥的博客
04-09 1万+
目录 最近在爬取一个医学权威网址上面的论文，发现一个问题，采用以下方式进行请求 运行之后报错： 明显是无法解析请求头，说通俗点就是老子不认识你，所以报错 查看资料说这是hppt2的请求 作为RFC 描述，Http 请求头不能以分号开头 安装hyper进行解析，因为hyper认识这样的请求头 pip install hyper 代买修改为如下： import requests from bs...
爬虫漫游指南：HTTP/2 网站爬取
shayuchaor的博客
05-16 5699
最近写爬虫的时候遇到了一个用HTTP 2.0协议的网站，requests那套老经验在它身上不好用了，得专门针对HTTP 2.0进行开发。 因为与HTTP 1.x的爬虫颇有区别，所以写篇文章记录一下。考虑到大多数读者应该更关心实践操作，所以本文会采取倒金字塔结构，首先介绍HTTP 2.0的爬虫代码该怎么写，然后在慢慢讲解HTTP 2.0的基础理论知识。
http、restTemplate请求资源(含带头部信息)
05-24
接下来，我们将讨论如何使用`RestTemplate`发送带有头部信息的HTTP请求： 3. 带头部的GET请求：在使用`RestTemplate`进行GET请求时，可以通过`exchange()`或`getForEntity()`方法添加自定义头部信息。例如，可以...
JAVA获取HTTP请求头的方法示例
08-30
HTTP 请求头由多个字段组成，每个字段都有其特定的含义和用途。例如，Accept 字段用来指定客户端可以接受的响应格式，而 User-Agent 字段用来指定客户端的类型和版本。 现在，让我们看看如何使用 Java 获取 HTTP ...
mrsc:带有请求的mpsc
05-12
带有请求的mpsc。 如果您有多个工作程序需要在共享状态下执行事务，而不必在所有线程之间共享状态结构，则这是基于rusts mpsc的基本构建块。 当心事务被阻塞，因此建议避免事务处理程序中昂贵的代码。 安装 将此...
vue 导出文件,携带请求头token操作
10-14
首先，让我们来看标题和描述中提到的关键点：`vue 导出文件` 和 `携带请求头token`。这表明我们需要在Vue组件中创建一个方法来发送HTTP GET请求，同时在请求头中包含token。通常，token是用于验证用户身份的一种安全...
C#Post带参数请求+WebService接口.zip
05-23
当需要向服务器发送带有数据的请求时，POST方法通常比GET更合适，因为它可以处理更大的数据量且数据不会显示在URL中。在C#中，我们可以使用HttpClient类来实现POST请求。以下是一个基本的POST请求步骤： - 创建...
Python爬虫 重定向+Http2协议
晃^-^荡
08-31 1362
爬虫程序中链接A点开出错，而浏览器中打开链接发生了重定向，F12编辑查看发现存在302重定向，且request headers里面存在http2协议头：:authority，:method， :path， :scheme，且这四个字段为必须字段。 https://www.jianshu.com/p/1335a518151f 中提出使用 from hyper.contrib import HTTP20Adapter 经测试无效； https://stackoverflow.com/questions/462
方法不对，代码翻倍。Requests 如何正确重试？
静觅
06-22 287
这是「进击的Coder」的第 845篇技术分享作者：kingname来源：未闻 Code“ 阅读本文大概需要 4 分钟。 ”程序员是一个需要持续学习的群体，如果你发现你现在写的代码跟你 5 年前的代码没什么区别，说明你掉队了。我们在做 Python 开发时，经常使用一些第三方库，这些库很多年来持续添加了新功能。但我发现很多同学在使用这些第三方库时，根本不会使用新的功能。他们的代码跟几年前没有任何...
python使用HTTP模版
weixin_73725158的博客
06-29 1538
session.close()在这个示例中，我们使用 requests 库建立了一个 HTTP 隧道，以便在抓取数据时通过代理进行访问。我们通过 session.mount() 方法将 HTTP 和 HTTPS 协议的适配器挂载到会话中，并设置了连接池的大小。接下来，我们设置了要抓取的 URL，并使用 session.get() 方法发送 HTTP GET 请求。如果请求成功，我们可以通过 response.text 获取响应内容，并进行相应的处理。# 抓取成功，对响应内容进行处理。
错题集（已解决）：爬虫中碰到请求头header里有冒号‘:‘在key前面，直接调用requests报错valueError: Invalid header name b‘:authority‘
泛纪元的啊有猫
09-19 1万+
不说闲话直接入题： 碰到如下这样有冒号’:‘在前面的请求标头，如果直接在requests的headers参数里写冒号的话会报错 具体报错如下ValueError: Invalid header name b’:<你的header中带有冒号的key名>’： 原因是http2.0的应用（相关解释），在requests这个包中没有得到兼容，因此需要导入一个小帮手，在这里感谢这位大佬的文章 解决方案（使用hyper包）： from hyper.contrib import HTTP20Adapter
session功能实现原理
09-20 1106
        HTTP协议（http://www.w3.org/Protocols/）是“一次性单向”协议。         服务端不能主动连接客户端，只能被动等待并答复客户端请求。客户端连接服务端，发出一个HTTP Request，服务端处理请求，并且返回一个HTTP Response给客户端，本次HTTP Request-Response Cycle结束。         我们看到，HT
Python第三方requests库Session对象详解（2/6）
最新发布
m0_73608980的博客
12-30 4289
requests.Session提供一种持久性的会话，允许在多个请求之间保持cookie、header和连接池等配置参数的共享，这样可以重用同一连接，而不是为每个请求创建一个新的连接。
Python进阶：从requests请求重试到万能重试装饰器
Oner.wv的专栏
10-09 1411
点击上方“AI派”，选择“设为星标”最新分享，第一时间送达！☞【加薪必备】全套零基础学AI资料免费领！作者：郑明卓，Python研发工程师，在Python开发与爬虫方面涉...
python request请求超出最大请求次数 断开连接
weixin_58425109的博客
06-13 2063
python request请求超出最大请求次数 断开连接
Spring MVC 3.0实战：请求/请求头参数限定示例
这意味着只有当请求URL中带有"userId"参数时，`test1`方法才会被调用。 2. 通过请求头参数限定: ```java @RequestMapping(value="/show", headers="content-type=text/*") public String test2(@RequestParam(...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Spider boy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值