http2.0爬虫解决方案

最新推荐文章于 2025-08-04 14:00:00 发布
原创 最新推荐文章于 2025-08-04 14:00:00 发布 · 4.3k 阅读 · 4 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。
文章标签：

#HTTP/2.0爬虫

本文探讨了Python爬虫在面对HTTP/2.0协议网站时遇到的问题，由于requests库不支持HTTP/2.0，Scrapy虽然在最新版中实验性支持，但存在限制。解决方案包括使用httpx或hyper库。示例代码展示了如何使用httpx和hyper进行HTTP/2.0请求。

文章目录


现在的大部分网站都是基于HTTP/1.x协议的，但是还有一小部分是HTTP/2.0的，遇到这样的网站，爬虫的很多常用库都没法用了，目前python 的requests库并不支持http/2.0网站，scrapy2.5.0 2021.4更新开始支持HTTP2.0，但是官网明确提示，现在是实验性的功能，不推荐用到生产环境，当前 Scrapy 的 HTTP/2.0 实现的已知限制包括：

  • 不支持 HTTP/2.0 明文（h2c），因为没有主流浏览器支持未加密的 HTTP/2.0。
  • 没有用于指定最大帧大小大于默认值 16384 的设置，发送更大帧的服务器的连接将失败。
  • 不支持服务器推送。
  • 不支持bytes_received和 headers_received信号。
    关于其他的一些库，也不必多说了，对 HTTP/2.0 的支持也不好，目前对 HTTP/2.0 支持得还可以的有 hyper 和 httpx，后者更加简单易用一些。
    hyper使用参考
    HTTPX使用参考

解决方案上啊代码：


                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
Python爬虫进阶：基于OAuth 2.0认证的现代网络爬虫开发指南

				
			

			

				

					2201_76125261的博客
				

				

					07-20
					
					526
					
				

			

		

		

			
				
本文将深入探讨如何在Python爬虫中实现OAuth 2.0认证，涵盖从基本原理到实际应用的完整流程。我们将使用最新的Python技术和库，包括Requests-OAuthlib、Authlib和Selenium等，通过多个实际案例展示如何爬取需要OAuth认证的API数据。文章包含详细的代码示例、最佳实践和常见问题解决方案，适合中高级Python开发者阅读。

			
		

	



                

            
              



	

		

			

				
					
.NET 分布式爬虫框架

				
			

			

				

					.Net技术、软件架构、人工智能、数字化转型、DeveloperSharp、微服务、工业互联网、智能制造
				

				

					06-08
					
					1009
					
				

			

		

		

			
				
🏆作者：科技、互联网行业优质创作者🏆专注领域：.Net技术、软件架构、人工智能、数字化转型、DeveloperSharp、微服务、工业互联网、智能制造🏆欢迎关注我（），里面有很多技术文章，，能助你快速成长。升职+涨薪！！RuiJi.Net 是一个可以分布式部署的爬虫框架，使用 C# 开发，项目的最终目的是可以对大量的网站进行自动更新检查及抓取。

			
		

	



              


  
              

                


	

		

			

				
					
遇到http2.0的情况时，爬虫该怎么做

				
			

			

				

					zxlmeb的博客
				

				

					02-15
					
					1271
					
				

			

		

		

			
				
分享一个之前做做过的项目,一个美国的外卖平台Doordash.

前期开发很顺利,程序正常跑了4个月左右 ，突然间网站改版，之前的接口位置并未改动，改版后还在那个原位置没有动，可是，一直请求不到，找了好长时间，才发现是http2.0的……

话不多说，肝着！

1.先看进入页面，通过charles 抓包工具进行抓包



2.观察charles抓到包的信息



3.发现抓到的包里 http请求是2.0的 http2.0对爬虫很不友好，因为requests不支持http2.0的请求，scrapy框架只是支持

			
		

	





	

		

			

				
					
HTTP/2.0 - 最新超强反爬虫方案!(禁用所有 HTTP 1.x 的请求)

				
			

			

				

					老鹰的博客
				

				

					06-01
					
					2694
					
				

			

		

		

			
				
现在很多爬虫库其实对 HTTP/2.0 支持得不好，比如大名鼎鼎的 Python 库 —— requests，到现在为止还只支持 HTTP/1.1，啥时候支持 HTTP/2.0 还不知道。


			
		

	



		

			
		



	

		

			

				
					
爬虫漫游指南：HTTP/2 网站爬取

				
			

			

				

					shayuchaor的博客
				

				

					05-16
					
					6334
					
				

			

		

		

			
				
最近写爬虫的时候遇到了一个用HTTP 2.0协议的网站，requests那套老经验在它身上不好用了，得专门针对HTTP 2.0进行开发。
因为与HTTP 1.x的爬虫颇有区别，所以写篇文章记录一下。考虑到大多数读者应该更关心实践操作，所以本文会采取倒金字塔结构，首先介绍HTTP 2.0的爬虫代码该怎么写，然后在慢慢讲解HTTP 2.0的基础理论知识。

			
		

	





	

		

			

				
					
Python爬虫实战2.0

				
			

			

				

					Big_Head_的博客
				

				

					08-09
					
					813
					
				

			

		

		

			
				
这次实战的内容是异步加载： 
异步加载和普通的数字下表迭代的URL不同的地方在于不能直接通过一个for循环来获取每一个页面的内容。 
如何判别翻页是否是异步加载的呢？打开浏览器检查，然后定位到页面内容的那部分HTML代码，然后在浏览器按下翻页按钮，如果发现HTML代码部分内容闪了一下，那么说明网页是通过异步加载的。

爬取方法： 
（以豌豆荚为例， 比如要爬取 http://www.wandouj...

			
		

	





	

		

			

				
					
python爬虫之针对http2.0的某网站爬取

				
			

			

				

					GMH的博客
				

				

					02-09
					
					4604
					
				

			

		

		

			
				
http2.0啥东西呢？

可以看看下面两个文字参考链接：

超强反爬虫方案！Requests 什么的通通爬不了https://mp.weixin.qq.com/s/dFxyRYmqm5if8k-S1MjFJw

Python requests在HTTP2.0下的问题 | 小丁的个人博客https://tding.top/archives/9bd92731.html

如果你觉得浪费时间的话，可以看我下面说的，精简过的：
...

			
		

	





	

		

			

				
					
proxy代理小偷v2.0 - 高效数据采集与反爬虫解决方案

				
			

			

				

					
				

			

		

		

			
				
版本号v2.0 build20140627表示这是一个在2014年6月27日发布的版本。  2. PHP源代码和数据采集  文件的标签中提到了“PHP源代码”和“数据采集”，这通常意味着该代理小偷脚本是用PHP编程语言编写的，它能够执行数据...

			
		

	





	

		

			

				
					
34、Web 2.0时代网络爬虫对隐私影响的深度剖析

				
			

			

				

					rum55的博客
				

				

					07-12
					
					53
					
				

			

		

		

			
				
本文深入剖析了Web 2.0时代下网络爬虫对用户隐私的威胁，探讨了现有解决方案的局限性，并详细解析了个人用户如何利用网络爬虫进行隐蔽追踪的行为。通过多个实验分析，揭示了网络爬虫在社交网络平台、MySpace及大学信息系统中的实际应用和潜在风险，同时提出了加强隐私保护的必要性和未来研究方向。

			
		

	





	

		

			

				
					
针对http2协议网站的python爬虫设计，及超时处理

				
			

			

				

					sorame_xyz的博客
				

				

					11-01
					
					964
					
				

			

		

		

			
				
前置知识
a.http2协议是什么，与http1.1有什么不同

HTTP/2 是 HTTP 协议自 1999 年 HTTP 1.1 发布后的首个更新，主要基于 SPDY 协议。由互联网工程任务组（IETF）的 Hypertext Transfer Protocol Bis（httpbis）工作小组进行开发。该组织于2014年12月将HTTP/2标准提议递交至IESG进行讨论，于2015年2月17日被批准。HTTP/2标准于2015年5月以RFC 7540正式发表。

目前主流浏览器已经完成了对2.0协议的

			
		

	





	

		

			

				
					
HTTP2.0协议描述

				
			

			

				

					02-13
				

			

		

		

			
				
从技术和协议的角度去描述HTTP2.0，由Mozilla资深工程师Daniel Stenberg所作。

			
		

	





	

		

			

				
					
python 爬虫http2

				
			

			

				

					qq_41562377的博客
				

				

					03-18
					
					4422
					
				

			

		

		

			
				
查看是否是http2请求呢？
打开火狐浏览器

使用requests爬虫就会失败，所以得使用httpx包
import httpx
client = httpx.Client(http2=True)
# 之后的使用方式和requests一样
# post
result = client.post(url,json=data, headers=headers, cookies=cookies
                                 ).json()
# get
result = cl

			
		

	





	

		

			

				
					
HTTP2.0探究

				
			

			

				

					weixin_34032792的博客
				

				

					09-02
					
					191
					
				

			

		

		

			
				
　
      http1.1和http2.0在请求379张图片的对比演示（HTTP2.0性能惊人）。

 
  　HTTP2.0是HTTP协议自1999年HTTP1.1发布后的首个更新，主要基于SPDY（读speedy）。  该协议在2015年以RFC 7540正式发表 。
　　
基本介绍
HTTP/1.1 时代
HTTP/1.1 对 HTTP/1.0 做了许多优化，也是当今使用...

			
		

	





	

		

			

				
					
网络爬虫（二）http基础

				
			

			

				

					skyever0的专栏
				

				

					11-20
					
					226
					
				

			

		

		

			
				
要做爬虫需要了解http的一些基础知识，下面总结成一张思维导图



 

			
		

	





	

		

			

				
					
http爬虫

				
			

			

				

					weixin_45213272的博客
				

				

					07-17
					
					242
					
				

			

		

		

			
				
http爬虫
const https = require("https");
const cheerio = require('cheerio');

const req = https.get("https://www.17k.com/all", (res) => { // res   response 响应( 回馈 )

    res.setEncoding('utf8'); // 得...

			
		

	





	

		

			

				
					
爬虫2：web请求与http

				
			

			

				

					bliblisukabulie的博客
				

				

					09-06
					
					1368
					
				

			

		

		

			
				
2.客户端渲染 ：请求网页时候服务器只返回html骨架，客户端再次请求数据时候再返回数据，进行数据展示（在页面源代码中看不到数据）1.服务器渲染 ：在服务器那边直接把数据和html整合在一起，统一返回给浏览器。响应体：服务器返回的真正客户端要用的内容（HTML，json）等。状态行：协议，状态码 200,404,500，419被发现了，请求航：请求方式get/post， 请求url地址，协议。响应头：放一些客户端要使用的一些附加信息。请求头：放一些服务器要使用的附加信息。请求体：一般放一些请求参数。

			
		

	





	

		

			

				
					
网络爬虫--2.HTTP和HTTPS

				
			

			

				

					fanxindong0620的博客
				

				

					04-25
					
					1437
					
				

			

		

		

			
				
文章目录一.简介二.HTTP的请求与响应三.客户端HTTP请求1.格式2.请求方法四.常用的请求报头1.Host (主机和端口号)2.Connection (链接类型)3.Upgrade-Insecure-Requests (升级为HTTPS请求)4. User-Agent (浏览器名称)5. Accept (传输文件类型)6.Referer (页面跳转处)7.Accept-Encoding（文件...

			
		

	





	

		

			

				
					
【网络与爬虫 42】HTTP2与HTTP3现代协议爬虫适配完全指南

					
最新发布

				
			

			

				

					熵数实验室
				

				

					08-04
					
					1571
					
				

			

		

		

			
				
随着网络协议的不断演进，HTTP/2和HTTP/3已经成为现代Web应用的主流协议。本文将深入探讨这些新协议的核心特性，以及如何在爬虫开发中充分利用它们的优势。通过实际案例和代码示例，帮助开发者掌握现代协议下的爬虫适配技术，提升爬虫性能和成功率。

			
		

	





	

		

			

				
					
http&requestv2.0

				
			

			

				

					m0_37786593的博客
				

				

					07-08
					
					350
					
				

			

		

		

			
				
http&requestv2.0
1.http协议
1.1 谷歌浏览器抓包
1.form表单发送请求
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
    <form action="/demoServlet" method="get

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
冰履踏青云

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值