08—小白学Python爬虫之Requests高级特性

最新推荐文章于 2023-11-16 12:14:48 发布

小洋人最happy

最新推荐文章于 2023-11-16 12:14:48 发布

阅读量467

点赞数 1

分类专栏：小白学python爬虫文章标签： Requests

本文链接：https://blog.csdn.net/u010358168/article/details/79725812

版权

小白学python爬虫专栏收录该内容

11 篇文章 0 订阅

订阅专栏

上篇文章介绍了Requests及基本使用，在掌握了基础后，那么本篇就来看一下Requests的一些高级特性。

高级使用

会话对象

会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie，期间使用 urllib3 的 connection pooling 功能。所以如果你向同一主机发送多个请求，底层的 TCP 连接将会被重用，从而带来显著的性能提升。

我们来跨请求保持一些 cookie:

def demo_session():
    s = requests.session()
    s.get('http://httpbin.org/cookies/set/sessioncookie/abcsd')
    r = s.get("http://httpbin.org/cookies")
    print(r.text)

输出为：

{
  "cookies": {
    "sessioncookie": "abcsd"
  }
}

会话也可用来为请求方法提供缺省数据。这是通过为会话对象的属性提供数据来实现的：

s = requests.Session()
s.auth = ('user', 'pass')
s.headers.update({'x-test': 'true'})

# 'x-test' and 'x-test2' 都会被作为header参数发送出去
s.get('http://httpbin.org/headers', headers={'x-test2': 'true'})

任何你传递给请求方法的字典都会与已设置会话层数据合并。方法层的参数覆盖会话的参数。

不过需要注意，就算使用了会话，方法级别的参数也不会被跨请求保持。下面的例子只会和第一个请求发送 cookie ，而非第二个：

s = requests.Session()

r = s.get('http://httpbin.org/cookies', cookies={'from-my': 'browser'})
print(r.text)
# '{"cookies": {"from-my": "browser"}}'

r = s.get('http://httpbin.org/cookies')
print(r.text)
# '{"cookies": {}}'

如果你要手动为会话添加 cookie，就使用Cookie utility 函数来操纵 Session.cookies。

会话还可以用作前后文管理器：

with requests.Session() as s:
    s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')

这样就能确保 with 区块退出后会话能被关闭，即使发生了异常也一样。

请求与响应

只要做了类似 requests.get() 的操作，其实主要做了两件事。其一，你在构建一个 Request 对象，该对象将被发送到某个服务器请求或查询一些资源。其二，一旦 requests 得到一个从服务器返回的响应就会产生一个 Response 对象。该响应对象包含服务器返回的所有信息，也包含你原来创建的 Request 对象。

def demo_req_resp():
    url = 'http://www.baidu.com'
    resp = requests.get(url)
    # 响应头部信息
    print(resp.headers)
    print('*' * 50)
    # 请求头信息
    print(resp.request.headers)

输出结果为：

{'Server': 'bfe/1.0.8.18', 'Date': 'Tue, 27 Mar 2018 12:27:22 GMT', 'Content-Type': 'text/html', 'Last-Modified': 'Mon, 23 Jan 2017 13:27:36 GMT', 'Transfer-Encoding': 'chunked', 'Connection': 'Keep-Alive', 'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Pragma': 'no-cache', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Content-Encoding': 'gzip'}
**************************************************
{'User-Agent': 'python-requests/2.18.4', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

SSL证书验证

Requests 可以为 HTTPS 请求验证 SSL 证书，就像 web 浏览器一样。SSL 验证默认是开启的，如果证书验证失败，Requests 会抛出 SSLError。

验证方式一

def demo_ssl():
    url = 'https://www.12306.cn'
    resp = requests.get(url)
    print(resp.status_code)

输出为：

Traceback (most recent call last):

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/Users/***/Project/PycharmProjects/crawler/01-base/05-requests/02-advance-demo.py", line 33, in <module>
    main()
  File "/Users/***/Project/PycharmProjects/crawler/01-base/05-requests/02-advance-demo.py", line 5, in main
    demo_ssl()
  File "/Users/***/Project/PycharmProjects/crawler/01-base/05-requests/02-advance-demo.py", line 10, in demo_ssl
    resp = requests.get(url)
  File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/api.py", line 72, in get
    return request('get', url, params=params, **kwargs)
  File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/api.py", line 58, in request
    return session.request(method=method, url=url, **kwargs)
  File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/sessions.py", line 508, in request
    resp = self.send(prep, **send_kwargs)
  File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/sessions.py", line 618, in send
    r = adapter.send(request, **kwargs)
  File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/adapters.py", line 506, in send
    raise SSLError(e, request=request)
requests.exceptions.SSLError: HTTPSConnectionPool(host='www.12306.cn', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:749)'),))

默认情况下， verify 是设置为 True 的。选项 verify 仅应用于主机证书。为了避免这种错误，可以将SSL验证设置为false。

def demo_ssl():
    url = 'https://www.12306.cn'
    resp = requests.get(url, verify=False)
    print(resp.status_code)

输出为：

/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/urllib3/connectionpool.py:858: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
  InsecureRequestWarning)
200

这样，可以看到请求失败，但是会报一个InsecureRequestWarning: Unverified HTTPS request is being made.的警告，不过可以通过设置取消警告信息。

from requests.packages import urllib3
def demo_ssl():
    urllib3.disable_warnings()
    url = 'https://www.12306.cn'
    resp = requests.get(url, verify=False)
    print(resp.status_code)

输出为：

这样就不会再显示警告信息了。

验证方式二

另外，可以为verify 传入 CA_BUNDLE 文件的路径，或者包含可信任 CA证书文件的文件夹路径：

requests.get('https://www.12306.cn', verify='/path/to/certfile')

或者将其保持在会话中

s = requests.Session()
s.verify = '/path/to/certfile'

如果 verify 设为文件夹路径，文件夹必须通过 OpenSSL 提供的 c_rehash 工具处理。

客户端证书

你也可以指定一个本地证书用作客户端证书，可以是单个文件（包含密钥和证书）或一个包含两个文件路径的元组：

>>> requests.get('https://kennethreitz.org', cert=('/path/client.cert', '/path/client.key'))
<Response [200]>

或者保持在会话中：

s = requests.Session()
s.cert = '/path/client.cert'

如果你指定了一个错误路径或一个无效的证书:

>>> requests.get('https://kennethreitz.org', cert='/wrong_path/client.pem')
SSLError: [Errno 336265225] _ssl.c:347: error:140B0009:SSL routines:SSL_CTX_use_PrivateKey_file:PEM lib

本地证书的私有 key 必须是解密状态。目前，Requests 不支持使用加密的 key。

CA证书

Requests 默认附带了一套它信任的根证书，来自于 Mozilla trust store。然而它们在每次 Requests 更新时才会更新。这意味着如果你固定使用某一版本的 Requests，你的证书有可能已经太旧了。

从 Requests 2.4.0 版之后，如果系统中装了 certifi 包，Requests 会试图使用它里边的证书。这样用户就可以在不修改代码的情况下更新他们的可信任证书。

为了安全起见，建议经常更新 certifi！

流式上传

Requests支持流式上传，这允许你发送大的数据流或文件而无需先把它们读入内存。要使用流式上传，仅需为你的请求体提供一个类文件对象即可。

with open('massive-body') as f:
    requests.post('http://some.url/streamed', data=f)

强烈建议你用二进制模式（binary mode）打开文件。这是因为 requests 可能会为你提供 header 中的 Content-Length，在这种情况下该值会被设为文件的字节数。如果你用文本模式打开文件，就可能碰到错误。

POST 多文件上传

你可以在一个请求中发送多个文件。例如，假设你要上传多个图像文件到一个 HTML 表单，使用一个多文件 field 叫做 “images”:

<input type="file" name="images" multiple="true" required="true"/>

要实现，只要把文件设到一个元组的列表中，其中元组结构为 (form_field_name, file_info)：

>>> url = 'http://httpbin.org/post'
>>> multiple_files = [
        ('images', ('foo.png', open('foo.png', 'rb'), 'image/png')),
        ('images', ('bar.png', open('bar.png', 'rb'), 'image/png'))]
>>> r = requests.post(url, files=multiple_files)
>>> r.text
{
  ...
  'files': {'images': 'data:image/png;base64,iVBORw ....'}
  'Content-Type': 'multipart/form-data; boundary=3131623adb2043caaeb5538cc7aa0b3a',
  ...
}

代理

配置单个请求

def demo_proxy():
    proxies = {
        "http": "http://10.10.1.10:3128",
        "https": "http://10.10.1.10:1080",
    }
    url = 'http://www.baidu.com'
    requests.get(url, proxies=proxies)

通过环境变量配置

$ export HTTP_PROXY="http://10.10.1.10:3128"
$ export HTTPS_PROXY="http://10.10.1.10:1080"

$ python
>>> import requests
>>> requests.get("http://example.org")

代理认证

若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/ 语法：

proxies = {
        "http": "http://user:pwd@10.10.1.10:3128",
    }

为某个特定的连接方式或者主机设置代理

要为某个特定的连接方式或者主机设置代理，使用 scheme://hostname 作为 key，它会针对指定的主机和连接方式进行匹配。

proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'}

更多高级用法点我查阅文档

小洋人最happy

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录