一步一步学爬虫(2)之httpx的使用
2.4 httpx的使用
- 前面提到的urllib和requests库的使用,可以爬取绝大多数网站数据,但是HTTP/2.0协议的网站,就没法爬取了。这种情况就用到了httpx库。
2.4.1 示例
书上给举了这个例子 https://spa16.scrape.center/. 这应该是崔老师自己的站点,自己做的样例,强烈推荐,这本最新的爬虫书. 那么问题来了,我们是怎么知道它使用的是http/2.0呢,requests不能用吗?
打开浏览器 去检查元素,看network那个标签下的All(全部)里面的第一个,右侧标头里面的请求标头Request Headers。如图。
既然是HTTPS2.0的,用requests库是无法爬取的,不妨尝试一下看:
import requests
url = "https://spa16.scrape.center"
resp = requests.get(url)
print(resp.text)
运行结果自然是报错。这里的报错,并不是没有设置请求头的问题。真实原因是requests这个库是使用HTTP/1.1访问目标网站,而这个网站是2.0,自然没法访问。
2.4.2 安装
- httpx可以直接用pip3工具安装。
pip3 install httpx
- 另外,除了这个httpx,想要支持HTTP/2.0,还要再安装一个工具。
pip3 install 'httpx[http2]'
2.4.3 基本使用
httpx 和 requests 的很多 API 存在相似之处,我们先看下最基本的 GET 请求的用法:
import httpx
response = httpx.get('https://www.httpbin.org/get')
print(response.status_code)
print(response.headers)
print(response.text)
这里我们还是请求之前的测试网站,直接使用 httpx 的 get 方法即可,用法和 requests 里的一模一样,将返回结果赋值为response 变量,然后打印出它的status_code、headers、text等属性,运行结果如下:
200
Headers({
'date': 'Mon, 26 Dec 2022 15:28:48 GMT', 'content-type': 'application/json', 'content-length': '311', 'connection': 'keep-alive', 'server': 'gunicorn/19.9.0', 'access-control-allow-origin': '*', 'access-control-allow-credentials': 'true'})
{
"args": {
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "www.httpbin.org",
"User-Agent": "python-httpx/0.23.1",
"X-Amzn-Trace-Id": "Root=1-63a9bdb0-0d54247f5449601021648371"
},
"origin": "39.69.199.58",
"