爬虫入门（二）：Requests 库用法大全

最新推荐文章于 2024-05-03 18:46:29 发布

Engineer-Yao

最新推荐文章于 2024-05-03 18:46:29 发布

阅读量5.7k

点赞数 7

分类专栏： # Python 文章标签： python 爬虫 requests 安全

本文链接：https://blog.csdn.net/m0_46422300/article/details/106298580

版权

Python 专栏收录该内容

7 篇文章 4 订阅

订阅专栏

学习之前

在了解完爬虫相关的基础知识以后，我们就可以尝试去开发自己的爬虫程序了。我们使用的是 Python 语言来开发爬虫，其中不得不学习的就是关于 requests 库的使用了，下面就从 Python 的 requests 库开始我们的爬虫学习之路。
在这里插入图片描述

安装 requests 库

因为学习过程使用的是 Python 语言，需要提前安装 Python ，我安装的是 Python 3.8 ，可以通过命令 python -V 查看自己安装的 Python 版本，建议安装 Python 3.X 以上的版本。
在这里插入图片描述安装好 Python 以后可以直接通过以下命令安装 requests 库。

pip3 install requests

安装过程可能会因为版本问题出现安装失败的情况，自行百度报错内容就好了，基本都能五分钟搞定。
为了演示功能，我这里使用 nginx 模拟了一个简单网站。
下载好了以后，直接运行根目录下的 nginx.exe 程序就可以了(备注：win环境下)。
这时本机访问：http://127.0.0.1 ，会进入 nginx 的一个默认页面。
在这里插入图片描述

获取网页

下面我们开始用 requests 模拟一个请求，获取页面源代码。

import requests  

r = requests.get('http://127.0.0.1')  
print(r.text)

执行以后得到的结果如下：

<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

关于请求

常见的请求有很多种，比如上面的示例使用的就是 GET 请求，这里详细介绍一下这些常见的请求方法。
关于请求的测试，这里介绍一个网站：http://httpbin.org/ ，这个网站能测试 HTTP 请求和响应的各种信息，比如 cookie、ip、headers 和登录验证等，且支持 GET、POST 等多种方法，对 web 开发和测试很有帮助。
它用 Python + Flask 编写，是一个开源项目。

GET 请求

发起请求

我们使用相同的方法，发起一个 GET 请求：

import requests  

r = requests.get('http://httpbin.org/get')  
print(r.text)

返回结果如下：

{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.23.0", 
    "X-Amzn-Trace-Id": "Root=1-5ec8c17c-4918b13bbf9452a586e40b01"
  }, 
  "origin": "223.88.74.214", 
  "url": "http://httpbin.org/get"
}

通过返回结果，我们可以看到返回结果所包括的信息有：Headers、URL、IP等。

添加参数

平时我们访问的 URL 会包含一些参数，比如：id是100，name是YOOAO。正常的访问，我们会编写如下 URL 进行访问：

http://httpbin.org/get?id=100&name=YOOAO

如果按照这样的方式，我们的请求代码就会变成：

r = requests.get('http://httpbin.org/get?id=100&name=YOOAO')

显然很不方便，而且参数多的情况下会容易出错，这时我们可以通过 params 参数优化输入内容。

import requests  

data = {  
    'id': '100',  
    'name': 'YOOAO'
}  

r = requests.get('http://httpbin.org/get', params=data)  
print(r.text)

这是执行代码返回的结果如下：

{
  "args": {
    "id": "100", 
    "name": "YOOAO"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.23.0", 
    "X-Amzn-Trace-Id": "Root=1-5ec8c656-e2d19f88cfa93600372917b8"
  }, 
  "origin": "223.88.74.214", 
  "url": "http://httpbin.org/get?id=100&name=YOOAO"
}

通过返回结果，我们可以看到，通过字典方式传输的参数被自动构造成了完整的 URL ,不需要我们自己手动完成构造。

返回结果处理

返回结果是 JSON 格式，因此我们可以使用调用 json 的方法来解析。如果返回内容不是 JSON 格式，这种调用会报错。

import requests  

r = requests.get('http://httpbin.org/get')  
print(type(r.text))   
print(type(r.json()))

返回结果：

<class 'str'>
<class 'dict'>

内容抓取

这里我们使用简单的正则表达式，来抓取 nginx 示例页面种所有 < a > 标签的内容，代码如下：

import requests  
import re

r = requests.get('http://127.0.0.1')  
pattern = re.compile('<a.*?>(.*?)</a>', re.S)
a_content = re.findall(pattern, r.text)
print(a_content)

抓取结果：

['nginx.org', 'nginx.com']

这里一次简单的页面获取和内容抓取就完成了，其中关于正则表达的使用是爬虫的基础知识，十分重要，下一篇文章将详细介绍正则表达式的是如何使用。

数据文件下载

上面的示例，返回的都是页面信息，如果我们想获取网页上的图片、音频和视频文件，我们就需要学会抓取页面的二进制数据。比如我上一篇博文封面的小姐姐很好看，我们就用爬虫来抓取这张图片。
首先我们通过查看源代码，获取到了这个图片的链接：

https://img-blog.csdnimg.cn/20200512221903237.jpg

我们可以使用 open 方法来完成图片等二进制文件的下载，示例代码：

import requests

r = requests.get('https://img-blog.csdnimg.cn/20200512221903237.jpg')
with open('image.jpg', 'wb') as f:
    f.write(r.content)
print('下载完成。')

open 方法种，它的第一个参数是文件名称，第二个参数代表以二进制的形式打开，可以向文件里写入二进制数据。
运行结束以后，会在运行文件的同级文件夹下保存下载下来的图片。运用同样原理，我们可以处理视频和音频文件。

添加headers

在上面的示例中，我们直接发起的请求，没有添加 headers ，某些网站为因为请求不携带请求头而造成访问异常，这里我们可以手动添加 headers 内容，模拟添加 headers 中的 Uer-Agent 内容代码：

import requests

headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36'}
r = requests.get('http://httpbin.org/get', headers=headers)
print(r.text)

执行结果：

{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36", 
    "X-Amzn-Trace-Id": "Root=1-5ec8f342-8a9f986011eac8f07be8b450"
  }, 
  "origin": "223.88.74.214", 
  "url": "http://httpbin.org/get"
}

结果可见，User-Agent 的值变了。不是之前的：python-requests/2.23.0。

POST 请求

GET请求相关的知识都讲完了，下面讲讲另一个常见的请求方式：POST 请求。
使用 requests 实现 POST 请求的代码如下:

import requests

data = {  
    'id': '100',  
    'name': 'YOOAO'
}  

r = requests.post("http://httpbin.org/post", data=data)
print(r.text)

执行结果：

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "id": "100", 
    "name": "YOOAO"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "17", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.23.0", 
    "X-Amzn-Trace-Id": "Root=1-5ec8f4a0-affca27a05e320a84ca6535a"
  }, 
  "json": null, 
  "origin": "223.88.74.214", 
  "url": "http://httpbin.org/post"
}

从 form 中我们看到了自己提交的数据，可见我们的 POST 请求访问成功。

响应

访问URL时，有请求就会有响应，上面的示例使用 text 和 content 获取了响应的内容。
除此以外，还有很多属性和方法可以用来获取其他信息，比如状态码、响应头、Cookies 等。

import requests

r = requests.get('http://127.0.0.1/')
print(type(r.status_code), r.status_code)
print(type(r.headers), r.headers)
print(type(r.cookies), r.cookies)
print(type(r.url), r.url)
print(type(r.history), r.history)

相应结果：

<class 'int'> 200
<class 'requests.structures.CaseInsensitiveDict'> {'Server': 'nginx/1.17.10', 'Date': 'Sat, 23 May 2020 10:08:09 GMT', 'Content-Type': 'text/html', 'Content-Length': '612', 'Last-Modified': 'Tue, 14 Apr 2020 14:19:26 GMT', 'Connection': 'keep-alive', 'ETag': '"5e95c66e-264"', 'Accept-Ranges': 'bytes'}
<class 'requests.cookies.RequestsCookieJar'> <RequestsCookieJar[]>
<class 'str'> http://127.0.0.1/
<class 'list'> []

关于状态码，requests 还提供了一个内置的状态码查询对象 requests.codes，用法示例如下：

import requests

r = requests.get('http://127.0.0.1/')
exit() if not r.status_code == requests.codes.ok else print('Request Successfully')


==========执行结果==========
Request Successfully

这里通过比较返回码和内置的成功的返回码，来保证请求得到了正常响应，输出成功请求的消息，否则程序终止。
这里我们用 requests.codes.ok 得到的是成功的状态码 200。
这样的话，我们就不用再在程序里面写状态码对应的数字了，用字符串表示状态码会显得更加直观。
下面是响应码和查询条件对照信息：

# 信息性状态码  
100: ('continue',),  
101: ('switching_protocols',),  
102: ('processing',),  
103: ('checkpoint',),  
122: ('uri_too_long', 'request_uri_too_long'),  

# 成功状态码  
200: ('ok', 'okay', 'all_ok', 'all_okay', 'all_good', '\\o/', '✓'),  
201: ('created',),  
202: ('accepted',),  
203: ('non_authoritative_info', 'non_authoritative_information'),  
204: ('no_content',),  
205: ('reset_content', 'reset'),  
206: ('partial_content', 'partial'),  
207: ('multi_status', 'multiple_status', 'multi_stati', 'multiple_stati'),  
208: ('already_reported',),  
226: ('im_used',),  

# 重定向状态码  
300: ('multiple_choices',),  
301: ('moved_permanently', 'moved', '\\o-'),  
302: ('found',),  
303: ('see_other', 'other'),  
304: ('not_modified',),  
305: ('use_proxy',),  
306: ('switch_proxy',),  
307: ('temporary_redirect', 'temporary_moved', 'temporary'),  
308: ('permanent_redirect',  
      'resume_incomplete', 'resume',), # These 2 to be removed in 3.0  

# 客户端错误状态码  
400: ('bad_request', 'bad'),  
401: ('unauthorized',),  
402: ('payment_required', 'payment'),  
403: ('forbidden',),  
404: ('not_found', '-o-'),  
405: ('method_not_allowed', 'not_allowed'),  
406: ('not_acceptable',),  
407: ('proxy_authentication_required', 'proxy_auth', 'proxy_authentication'),  
408: ('request_timeout', 'timeout'),  
409: ('conflict',),  
410: ('gone',),  
411: ('length_required',),  
412: ('precondition_failed', 'precondition'),  
413: ('request_entity_too_large',),  
414: ('request_uri_too_large',),  
415: ('unsupported_media_type', 'unsupported_media', 'media_type'),  
416: ('requested_range_not_satisfiable', 'requested_range', 'range_not_satisfiable'),  
417: ('expectation_failed',),  
418: ('im_a_teapot', 'teapot', 'i_am_a_teapot'),  
421: ('misdirected_request',),  
422: ('unprocessable_entity', 'unprocessable'),  
423: ('locked',),  
424: ('failed_dependency', 'dependency'),  
425: ('unordered_collection', 'unordered'),  
426: ('upgrade_required', 'upgrade'),  
428: ('precondition_required', 'precondition'),  
429: ('too_many_requests', 'too_many'),  
431: ('header_fields_too_large', 'fields_too_large'),  
444: ('no_response', 'none'),  
449: ('retry_with', 'retry'),  
450: ('blocked_by_windows_parental_controls', 'parental_controls'),  
451: ('unavailable_for_legal_reasons', 'legal_reasons'),  
499: ('client_closed_request',),  

# 服务端错误状态码  
500: ('internal_server_error', 'server_error', '/o\\', '✗'),  
501: ('not_implemented',),  
502: ('bad_gateway',),  
503: ('service_unavailable', 'unavailable'),  
504: ('gateway_timeout',),  
505: ('http_version_not_supported', 'http_version'),  
506: ('variant_also_negotiates',),  
507: ('insufficient_storage',),  
509: ('bandwidth_limit_exceeded', 'bandwidth'),  
510: ('not_extended',),  
511: ('network_authentication_required', 'network_auth', 'network_authentication')

requests 用法进阶

文件上传

之前已经模拟了传递参数，同样的方法可以测试上传文件，我本以上传本地的图片为例，代码如下：

在这里插入代码片

运行结果：

{
  "args": {}, 
  "data": "", 
  "files": {
    "file": "data:application/octet-stream;base64,/9j/4AAQSkZJRgABAQAAAQABAAD....(省略具体内容)/NfOamniFcAqbjkRuJxEyZlmbVsOb0nI6qd1PiDJ6jjsTm+8aZplcl7aLVZadRCrsbXG6E8u8TULUEIegVF5Qj1gXvA//9k="
  }, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "4816", 
    "Content-Type": "multipart/form-data; boundary=fe6d94bb76a53d2af0d0539ad823c330", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.23.0", 
    "X-Amzn-Trace-Id": "Root=1-5ec91c97-c609fababa034b385bdfeaf0"
  }, 
  "json": null, 
  "origin": "223.88.74.214", 
  "url": "http://httpbin.org/post"
}

从返回结果可以看出，有一个 files 字段来存储文件信息。

Cookies

前面一节的学习，我们了解到 Cookies 的重要性，使用 requests 来获取和设置 Cookies 同样十分简单。
Cookies 的获取示例代码：

import requests

r = requests.get('http://www.baidu.com')
print(r.cookies)
for key, value in r.cookies.items():
    print(key + '=' + value)

执行结果：

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
BDORZ=27315

有些网站需要登陆以后才能访问，这时候我们可以直接使用 Cookies 来维持登录状态。
打开我的 CSDN 账户，下面是登录以后的 Cookies 信息，可以明显看到我的账户信息。
在这里插入图片描述以百度首页为例，在没有设置 Cookies 的情况下直接访问，返回结果如下图：
在添加请求头信息后返回结果如下图，明显可以看到我的用户名信息：
示例代码：

import requests

cookies = 'COOKIE_SESSION=............H_PS_PSSID=1447_31670_21083'
jar = requests.cookies.RequestsCookieJar()
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'
}
for cookie in cookies.split(';'):
    key, value = cookie.split('=', 1)
    jar.set(key, value)
r = requests.get('https://www.baidu.com/?tn=78040160_14_pg&ch=16', cookies=jar, headers=headers)

print(r.cookies)
for key, value in r.cookies.items():
	print(key + '=' + value)
print('====页面内容===')
print(r.text)

Session 维持

当我们用 get 和 post 方法去模拟页面请求时，相对于每个请求都是通过不同的浏览器去访问的，没有办法做到 Session 的维持，我们虽然可以通过设置 Cookies 的方式来解决，但是太麻烦了，这里我们介绍一个简单的实现方法。

还是需要使用 http://httpbin.org 这个网站，我们不做任何操作，直接请求两次：

import requests
#访问一个链接，并在cookies 中设置一个值
requests.get('http://httpbin.org/cookies/set/id/10086')
#再次访问这个链接
r = requests.get('http://httpbin.org/cookies')
print(r.text)

======执行结果=======
{
  "cookies": {}
}

这里我们创建一个 Session 对象以后再试一下，可以看到成功获取到了设置的值：

import requests

s = requests.Session()
s.get('http://httpbin.org/cookies/set/id/10086')
r = s.get('http://httpbin.org/cookies')
print(r.text)


======执行结果=======
{
  "cookies": {
    "id": "10086"
  }
}

SSL 证书验证

现在很多网站都会验证证书，我们可以设置参数来忽略证书的验证。

import requests

response = requests.get('https://XXXXXXXX', verify=False)
print(response.status_code)

或者制定本地证书作为客户端证书：

import requests

response = requests.get('https://xxxxxx', cert=('/path/server.crt', '/path/server.key'))
print(response.status_code)

注意：本地私有证书的 key 必须是解密状态，加密状态的 key 是不支持的。

设置超时

很多时候我们需要设置超时时间来控制访问的效率，遇到访问慢的链接直接跳过。
示例代码：

import requests
# 设置超时时间为 10 秒
r = requests.get('https://httpbin.org/get', timeout=10)
print(r.status_code)

将连接时间和读取时间分开计算：

r = requests.get('https://httpbin.org/get', timeout=(3, 10))

不添加参数，默认不设置超时时间，等同于：

r = requests.get('https://httpbin.org/get', timeout=None)

身份认证

遇到一些网站需要输入用户名和密码，我们可以通过 auth 参数进行设置。

import requests  
from requests.auth import HTTPBasicAuth  
# 用户名为 admin ，密码为 admin 
r = requests.get('https://xxxxxx/', auth=HTTPBasicAuth('admin', 'admin'))  
print(r.status_code)

简化写法：

import requests

r = requests.get('https://xxxxxx', auth=('admin', 'admin'))
print(r.status_code)

设置代理

如果频繁的访问某个网站时，后期会被一些反爬程序识别，要求输入验证信息，或者其他信息，甚至IP被封无法再次访问，这时候，我们可以通过设置代理来避免这样的问题。

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/ 语法：

proxies = {
    "http": "http://user:pass@10.10.1.10:3128/",
}

要为某个特定的连接方式或者主机设置代理，使用 scheme://hostname 作为 key，它会针对指定的主机和连接方式进行匹配。

proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'}

Engineer-Yao

关注

7
点赞
踩
33

收藏

觉得还不错? 一键收藏
0
评论
爬虫入门（二）：Requests 库用法大全

了解爬虫开发的基础上，在 Python 中使用 requests 库来快速实现爬虫开发。
复制链接

扫一扫

专栏目录

爬虫入门（二）：Requests 库用法大全

学习之前

安装 requests 库

获取网页

关于请求

GET 请求

发起请求

添加参数

返回结果处理

内容抓取

数据文件下载

添加headers

POST 请求

响应

requests 用法进阶

文件上传

Cookies

Session 维持

SSL 证书验证

设置超时

身份认证

设置代理

“相关推荐”对你有帮助么？