跟着崔庆才学爬虫：httpx的使用

于 2023-11-16 16:59:56 发布
阅读量676 收藏
点赞数 3
文章标签： 爬虫 httpx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/catca/article/details/134430361
版权

前面我们学习了urllib库和requests库的使用，已经可以爬取大多数网站的数据了，但是对于一些网站还是无能为力，究其原因是因为这些网站前置使用HTTP/2.0协议访问，这时urllib和requests是无法访问数据的，因为它们支支持HTTP/1.1,不支持HTTP2.0。那么这时该怎么办呢？

还是有办法的只需要使用一些支持HTTP/2.0请求库就可以了，requests已有的功能他都支持。

所以本节就开始httpx的使用。

引入

下面我们来看一个实例，https://spa16.scrape.center/就是一个强制HTTP/2.0访问的一个网站，用浏览器打开此网站，f12点击网络，右键点击表头选择协议，可以看到协议一列都是h2，证明请求所用的协议是HTTP/2.0。

 这个网站是无法使用requests爬取的，我们可以试一下

import requests
url ='https://spa16.scrape.center/'
resp = requests.get(url)
print(resp.text)

 运行结果报错：

  File "d:\跟着崔庆才学爬虫\.venv\Lib\site-packages\urllib3\connectionpool.py", line 791, in urlopen
    response = self._make_request(
..........
                
  File "C:\Users\30255\AppData\Local\Programs\Python\Python311\Lib\http\client.py", line 287, in _read_status
    raise RemoteDisconnected("Remote end closed connection without"
http.client.RemoteDisconnected: Remote end closed connection without response

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

.......
                         
  File "C:\Users\30255\AppData\Local\Programs\Python\Python311\Lib\http\client.py", line 287, in _read_status
    raise RemoteDisconnected("Remote end closed connection without"
urllib3.exceptions.ProtocolError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response'))

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

可以看到首先抛出的错误就是RemoteDisconnected错误，请求失败。

可能有人会认为这是没有设置请求头导致的，其实不是，真实原因是requests这个库是使用HTTP/1,1访问的目标网站，而目标网站会检测请求使用的是不是HTTP/2.0如果不是就拒绝返回任何结果。

安装

安装命令 ： pip install httpx

 但是这样安装完的httpx是不支持HTTP/2.0的，如果想支持可以这样安装

pip install 'httpx[http2]'

这样就既安装了httpx，又安装了httpx对http/2.0的支持模块

基本使用

用之前的测试网站看一下httpx的基本使用

import httpx
resp = httpx.get('https://www.httpbin.org/get')
print(resp.status_code)
print(resp.headers)
print(resp.text)

运行结果如下

200
Headers({'date': 'Thu, 16 Nov 2023 07:23:51 GMT', 'content-type': 'application/json', 'content-length': '312', 'connection': 'keep-alive', 'server': 'gunicorn/19.9.0', 'access-control-allow-origin': '*', 'access-control-allow-credentials': 'true'})
{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Host": "www.httpbin.org",
    "User-Agent": "python-httpx/0.25.1",
    "X-Amzn-Trace-Id": "Root=1-6555c387-1a52f7803da99c9f5716c911"
  },
  "origin": "112.32.67.234",
  "url": "https://www.httpbin.org/get"
}

这里可以看出httpx和requests的用法基本一致，将返回结果赋值为resp变量，然后打印状态码，请求头，以及文本等属性，通过返回结果我们可以看到其中的User-Agent是一个 "User-Agent": "python-httpx/0.25.1",代表我们用的是httpx请求的

我们更换一下User-Agent在请求一次，代码如下

import httpx
from fake_useragent import UserAgent
headers = {"User-Agent":UserAgent().chrome}
resp = httpx.get('https://www.httpbin.org/get',headers=headers)

print(resp.text)

请求结果如下：

{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Host": "www.httpbin.org",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36",      
    "X-Amzn-Trace-Id": "Root=1-6555c5a4-416117406c4a2c030ef6bab3"
  },
  "origin": "112.32.67.234",
  "url": "https://www.httpbin.org/get"
}

 可以发现，我们更换的User-Agent生效了。

现在我们再用开头的实例网站，测试一下httpx是否能够爬取网站内容

import httpx
url ='https://spa16.scrape.center/'
resp = httpx.get(url)
print(resp.text)

运行发现抛出了和requests请求时类似的错误，不是支持HTTP/2.0吗？httpx默认是不会开启对HTTP/2.0的支持的，默认使用的时HTTP/1.1，需要手动开启才能使用HTTP/2.0

改写代码如下

import httpx
client = httpx.Client(http2=True)
url ='https://spa16.scrape.center/'
resp = client.get(url)
print(resp.text)

运行结果如下：

<!DOCTYPE html><html lang=en><head><meta charset=utf-8><meta http-equiv=X-UA-Compatible content="IE=edge"><meta name=viewport content="width=device-width,initial-scale=1"><meta name=referrer content=no-referrer><link rel=icon href=/favicon.ico><title>Scrape | Book</title><link href=/css/chunk-50522e84.e4e1dae6.css rel=prefetch><link href=/css/chunk-f52d396c.4f574d24.css rel=prefetch><link href=/js/chunk-50522e84.6b3e24aa.js rel=prefetch><link href=/js/chunk-f52d396c.f8f41620.js rel=prefetch><link href=/css/app.ea9d802a.css rel=preload as=style><link href=/js/app.b93891e2.js rel=preload as=script><link href=/js/chunk-vendors.a02ff921.js rel=preload as=script><link href=/css/app.ea9d802a.css rel=stylesheet></head><body><noscript><strong>We're sorry but portal doesn't work properly without JavaScript enabled. Please enable it to continue.</strong></noscript><div id=app></div><script src=/js/chunk-vendors.a02ff921.js></script><script src=/js/app.b93891e2.js></script></body></html>

这里需要声明一个Client对象，赋值为client变量，同时显式的将http2参数设置为True，这样便开启了对HTTP/2.0的支持，运行发现成功获取到HTML代码了。这也就印证了这个示例网站只能使用HTTP/2.0访问。

上面提到，httpx和requests有很多相似的api，上面实现的是get请求，对于POST请求，PUT请求和DELETE请求来说，实现方式是类似的

import httpx
r = httpx.get('https://www.httpbin.org/get')
r = httpx.post('https://www.httpbin.org/post')
r = httpx.put('https://www.httpbin.org/put')
r = httpx.delete('https://www.httpbin.org/delete')

 基于得到的resp对象，可以使用如下属性和方法获得想要的内容。

status_code:状态码

text：响应体的文本内容

content：响应体的二进制内容如图片等。

header：响应头，是Headers对象，可以用像获取字典中的内容一样获取其中某个header的值

json：方法，可以调用此方法将文本转化为json对象。

 此外还有一些基本用法基本都与requests类似，具体可以参考官方文档

https://www.python-httpx.org/quickstart

 Client对象

上面说到httpx和requests对象有很多相似的部分，那么现在就来聊聊不同的部分，首先说到的就是Client对象，这个对象可以和requests中session对象类比学习。

下面我们就来介绍Client对象的使用，官方比较推荐的使用方式是with as语句，实例如下

import httpx
with httpx.Client() as client:
    resp=client.get('https://www.httpbin.org/get')
    print(resp)

运行结果：<Response [200 OK]>

 这个方法等价于

import httpx
client= httpx.Client()
try:
    resp=client.get('https://www.httpbin.org/get')
finally:
    
    print(resp)
    client.close()

 两种方法运行结果是一样的。只不过这里需要我们在最后显式地调用了close方法来关闭client对象。

另外，在声明Client对象时可以指定一些参数，例如headers，这样使用该对象发起的所有请求都会默认带上这些参数配置。

示例如下

import httpx
url = 'https://www.httpbin.org/headers'
headers={"User-Agent":"my-request/0.0.1"}
with httpx.Client(headers=headers)as client:
    r=client.get(url)
    print(r.json()['headers']['User-Agent'])

 这里我们声明了一个headers对象，内容为User-Agent属性，然后将此变量传递给headers参数初始化了一个Client对象，并赋值为client变量，最后用client变量请求了测试网站。并打印了返回结果中的User-Agent的内容：

my-request/0.0.1

可以看到成功赋值了

关于更多client对象的高级用法可以参考官网文档：https://www.python-httpx.org/advanced

 支持HTTP/2.0

现在是要在客户端开启对HTTP/2.0的支持，就像基本使用小节所说的那样，同样是声明Client对象，然后将http2的参数设置为True。如果不设置，那么请求就会默认支持HTTP/1.0，即不开启对HTTP/2.0的支持。写法如下

import httpx
client = httpx.Client(http2=True)
resp = client.get('https://www.httpbin.org/get')
print(resp.text)
print(resp.http_version)

这里我们在输出代码上加了一个http_version属性，这是requests库中不存在的属性，其结果可能为：HTTP/1.0,HTTP/1.1,HTTP/2.0

代码运行的返回结果为 HTTP/2.0，代表使用了HTTP/2.0协议传输。

注意。在客户端的httpx启用了对HTTP/2.0的支持并不意味着请求和响应都将通过HTTP/2.0传输，这里得客户端和服务端都支持HTTP/2.0才行。如果客户端连接到仅支持HTTP/1.1的服务器，那么它也需要改用HTTP/1.1

支持异步请求

httpx还支持异步客户端请求（即AsyncClient），支持Python的async的请求模式，写法如下：

import httpx
import asyncio
async def fetch(url):
    async with httpx.Client(http2=True) as client:
        resp=await client.get(url)
        print(resp.text)
if __name__ == "__main__":
    asyncio.get_event_loop().run_until_complete(fetch('https://www.httpbin.org/get'))

关于异步请求，目前仅了解即可，后面章节会专门对异步请求进行学习，也可以参考官网文档

https://www.python-httpx.org/async

 总结

本章介绍了httpx的基本用法，该库的API与requests的非常相似，简单易用，同时支持HTTP/2.0,如果后面有需要requests爬取网页时，推荐大家使用httpx

catca
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
python 使用 httpx 发送http2.0 请求
wei_bo_cai的博客
08-06 2万+
待续
【转载】崔庆才爬虫笔记
小葡萄的笔记本
10-07 987
https://blog.csdn.net/Arise007/article/details/79349504
python httpx 使用 http2.0协议 发送请求 报错 ENABLE_CONNECT_PROTOCOL
fuchto的博客
09-02 1051
升级指定版本 4.1.0。将 h2 模块 升级即可。
httpx 的使用
W_chuanqi的博客
07-16 5544
📋 个人简介 💖 作者简介：大家好，我是W_chuanqi，一个编程爱好者 📙 个人主页：W_chaunqi 😀 支持我：点赞👍+收藏⭐️+留言📝 💬 愿你我共勉：“若身在泥潭，心也在泥潭，则满眼望去均是泥潭；若身在泥潭，而心系鲲鹏，则能见九万里天地。”✨✨✨​ 我们使用urllib 库和 requests 库，已经可以爬取绝大多数网站的数据，但对于某些网站依然无能为力。这些网站强制使用 HTTP/2.0 协议访问，这时 urllib 和 requests 是无法爬取数据的，因为它们只支持...
【转载】爬虫篇——httpx的基础知识（总结）
weixin_40458518的博客
04-22 2276
注意：httpx库的使用方法，跟requests库的使用方法非常相似，学会requests库，再学httpx库非常容易。 查看请求所用的协议是HTTP/1.1，还是HTTP/2.0的方法(打开浏览器的开发者模式中查看)： 一、快速入门 urllib和request只支持HTTP/1.1,不支持HTTP/2.0 httpx跟request很相似，不过httpx既支持HTTP/1.1,也支持HTTP/2.0 httpx默认是HTTP/1.1，需要安装httpx[http2] 特殊情况下，httpx.Cli
爬虫基本库的使用之httpx
shzbbsns的博客
09-21 686
前面我们有urllib，requests库的使用，就可以爬取绝大多数网站的数据，但对于某些的网站依然无能为力。这类网站强制使用http/2.0协议访问，这个时候就可以使用功能强大的httpx库。 以example.org测试网站为例: 运行结果如下: 以http://httpbin.org/get网站为例:原来网站get请求的参数是: 加入参数并输出 运行结果如下： 这里的url后面跟着的参数就是我们自己输入的并且转化为标准格式，user-agent也变为我们所写的headers。以百
跟着崔庆才学爬虫2：requests库的使用
最新发布
11-11
崔庆才老师的“跟着崔庆才学爬虫2：requests库的使用”教程主要涵盖了Python爬虫中必不可少的requests库的使用方法。requests库是Python中最常用的HTTP客户端库，用于发送HTTP请求，非常适合进行网页抓取。在这个...
Python 新一代 HTTP 请求库：httpx
Python猫
02-17 6650
楔子来源：古明地觉的编程教室本次我们来聊一聊 httpx，它是一个 HTTP 请求库。不过说到发送 HTTP 请求，我们首先想到的应该是 requests，但 requests 是一个同步库，目前只能同步发请求。而 httpx 不仅可以同步发请求，还可以异步发请求，并且支持 HTTP/1.1 和 HTTP/2。另外 httpx 在设计上也模仿了 requests，两者的 API 是兼容的，如果你会...
【安全工具】Httpx信息收集
信安是不可或缺的一部分！
05-01 6681
HTTPX 是一个功能强大的 HTTP 客户端工具，用于执行各种网络任务，例如发现 Web 应用程序漏洞、探测域名和端口等。它使用了 retryablehttp 库来运行多个探测器，旨在通过增加线程数来提高结果的可靠性。HTTPX 支持多种 HTTP 请求方法，可以使用自定义标头和数据，并且可以设置请求超时时间、重试次数和批处理大小等选项。此外，HTTPX 还支持代理、SSL 和身份验证，并且可以查找和打印链接、横幅和技术指纹等信息。
HTTPX从入门到放弃
所寫即所思｜一个阿里质量人对测试的所感所悟。
05-31 3951
HTTPX是一款Python栈HTTP客户端库，它提供了比标准库更高级别、更先进的功能，如连接重用、连接池、超时控制、自动繁衍请求等等。HTTPX同时也支持同步和异步两种方式，因此可以在同步代码和异步代码中通用。HTTPX功能如下：1. 发送HTTP请求：HTTPX支持发送HTTP GET、POST等请求，并提供了丰富的选项进行定制化。2. 请求头和查询参数：HTTPX可以方便地添加请求头和查询参数到HTTP请求中。
httpx是一种快速且多功能的HTTP工具包，允许使用retryablehttp库运行多个探测器-Golang开发
05-26
httpx是一种快速且多功能的HTTP工具包，允许使用retryablehttp库运行多个探测器，它旨在通过增加线程数来保持结果的可靠性。 httpx是一种快速且多功能的HTTP工具包，允许使用retryablehttp库运行多个探测器，它旨在通过增加线程数来保持结果的可靠性。 资源资源功能用法安装说明从二进制文件从源文件运行httpX到探针7614主机使用stdin运行httpx并使用文件输入运行httpx并使用CIDR输入运行httpx并使用带有subfinder / chaos和任何其他类似工具的httpx。 运行带有json输出的httpX Todo谢谢
httpx库详解
zy010101博客
05-10 4873
httpx HTTPX 是 Python3下的全功能 HTTP 客户端，它提供同步和异步 API，并支持 HTTP/1.1 和 HTTP/2，并且高度兼容requests库。
Python爬虫学习记录- httpx库的使用
m0_63171455的博客
02-12 680
我这里简单把下载写了下，直接运行代码就能下载，默认主下载目录是D:\bcy,一个用户图片一个文件夹，也可以自己修改文件主文件夹，没有文件夹会自动创建 只需要安装Python3环境和requests库就能使用，我用的Python版本是3.9 很多人学习蟒蛇，不知道从何学起。 很多人学习寻找python，掌握了基本语法之后，不知道在哪里案例上手。 很多已经可能知道案例的人，却不怎么去学习更多高深的知识。 这三类人，我给大家提供一个好的学习平台，免费获取视频教程，电子书，以及课程的源代码！ Q..
爬虫-HTTP、HTTPS
qq_29286967的博客
07-10 4349
1.http和https在发送请求，获取响应的过程中 就是发送http或https的请求，获取http或https的响应2 http和https的概念HTTP超文本传输协议默认端口号:80HTTPSHTTP + SSL(安全套接字层)，即带有安全套接字层的超本文传输协议默认端口号：443HTTPS比HTTP更安全，但是性能更低HTTP： 是互联网上应用最为广泛的一种网络协议，所有的www文件都必须...
爬虫 -- requests、httpx、aiohttp速度对比
MarkAdc的博客
01-18 4064
同步、异步请求库的对比
Python爬虫下一代网络请求库httpx和parsel解析库测评
大江狗
05-10 1338
Python网络爬虫领域两个最新的比较火的工具莫过于httpx和parsel了。httpx号称下一代的新一代的网络请求库，不仅支持requests库的所有操作，还能发送异步请求，为编写异步...
Scrape Center爬虫平台之spa6案例
lingyuncelia的博客
07-09 805
先看明白Scrape Center爬虫平台之spa2案例 import requests import time import hashlib import base64 def getHTMLText(url): try: r=requests.get(url,timeout=60) r.raise_for_status() r.encoding='utf-8' return r.json() except:
最新崔庆才Python3爬虫入门到精通课程视频 附软件+源码+资料
weixin_43744470的博客
12-06 8103
课程目录： 第一阶段： 环境配置 第1课：Python3+Pip环境配置 第2课：MongoDB环境配置 第3课：Redis环境配置 第4课：MySQL的安装 第5课：Python多版本共存配置 第6课：Python爬虫常用库的安装 第二阶段： 基础篇 第07课：爬虫基本原理讲解 第08课：Urllib库基本使用 第09课：Requests库基本使用 第10课：正则表达式基...
《Python 3网络爬虫开发实战 》崔庆才著 第一章笔记
weixin_45715461的博客
05-22 785
一、请求库的安装 requests的安装 由于 requests 属于第三方库 ，也就是 python 默认不会自带这个库，所以需要我们手动安装。 pip install requests selenium Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等 操作，对于一些 JavaScript 谊染的页面来说，这种抓取方式非常有效。 pip install selenium ChromeDriver的安装 前面我们成功安装好了Selenium库，
崔庆才老师爬虫原理讲解笔记
Arise007的博客
02-26 8789
目录：一、什么是爬虫？二、爬虫的基本流程三、什么是Request和Response？四、Request中包含什么？五、Response中包含什么？六、能抓怎样的数据七、解析方式八、为啥我抓到的和浏览器看到的不一样？九、怎么解决JavaScript渲染的问题？十、怎样保存数据？一、什么是爬虫？简单来说就是：请求网站并提取数据的自动化程序。（个人理解就是我们点击网页浏览的过程）操作：右键---&gt;...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值