爬虫基础之基本库requests的使用

最新推荐文章于 2024-08-18 08:31:00 发布

降温vae+

最新推荐文章于 2024-08-18 08:31:00 发布

阅读量281

点赞数

分类专栏：爬虫文章标签：爬虫 python

本文链接：https://blog.csdn.net/m0_49449205/article/details/120796822

版权

爬虫专栏收录该内容

20 篇文章 3 订阅

订阅专栏

文章目录

使用requests

使用requests

上一篇文章，我们了解了爬虫基础之基本库urllib的使用，但是其中有一些不方便，比如处理网页验证和Cooikes时，需要写Opener和Handler来处理。为了实现这些操作，就有了更为强大的库requests。

基本用法

1.准备工作

安装requests，可以使用pip命令安装，也可以在pycharm中下载插件。

2.实例引入

import requests

r = requests.get('https://www.baidu.com/')
print(type(r))
print(r.status_code)
print(type(r.text))
print(r.text)
print(r.cookies)

运行结果如下

<class 'requests.models.Response'>
200
<class 'str'>
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=ç™¾åº¦ä¸€ä¸‹ class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ–°é—»</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>åœ°å›¾</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>è§†é¢‘</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>ç™»å½•</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">ç™»å½•</a>');
                </script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">æ›´å¤šäº§å“</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å
³äºŽç™¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>ä½¿ç”¨ç™¾åº¦å‰å¿
è¯»</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>æ„è§åé¦ˆ</a>&nbsp;äº¬ICPè¯030173å·&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>

这里我们调用get（）方法实现了与urlopen（）相同的操作，得到一个Response对象，然后分别输出了Response的类型、状态码、响应体的类型、内容以及Cooikes。
通过运行结果发现，返回类型是request.models.Response，响应体的类型是字符串str，Cooikes的类型是RequestsCooikeJar。同样，也可以用post（）、put（）、delete（）等方法实现POST、PUT、DELETE等请求。

3.GET请求

HTTP中最常见的请求之一就是GET请求，下面首先来详细了解一下利用requests构建GET请求的方法。
基本实例

import requests

r = requests.get("http://httpbin.org/get")
print(r.text)

运行结果：

{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.26.0", 
    "X-Amzn-Trace-Id": "Root=1-616a54e1-79669ac34d6b6deb3ba5ac19"
  }, 
  "origin": "223.104.204.36", 
  "url": "http://httpbin.org/get"
}

可以发现，我们成功发起了GET请求，返回结果中包含请求头、URL、IP等信息。
那我们应该如何添加参数呢？往下看：

import requests

data = {
    'name':'germey',
    'age':22
}
r = requests.get('http://httpbin.org/get',params=data)
print(r.text)

运行结果如下：

{
  "args": {
    "age": "22", 
    "name": "germey"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.26.0", 
    "X-Amzn-Trace-Id": "Root=1-616a5583-1b62ab26727aa421693be457"
  }, 
  "origin": "223.104.204.36", 
  "url": "http://httpbin.org/get?name=germey&age=22"
}

从结果可以看出，请求链接自动被构造成了：http://httpbin.org/get?name=germey&age=2
另外，网页的返回类型实际上是str类型，但是它很特殊，是JSON格式的。所以，如果想直接解析返回结果，得到一个字典格式的话，可以直接调用json（）方法。例如：

import requests

r = requests.get("http://httpbin.org/get")
print(type(r.text))
print(r.json())
print(type(r.json()))

运行结果：

<class 'str'>
{'args': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.26.0', 'X-Amzn-Trace-Id': 'Root=1-616a568c-54ba73d465d3189d471e1454'}, 'origin': '223.104.204.36', 'url': 'http://httpbin.org/get'}
<class 'dict'>

可以发现，调用json（）方法，就可以将返回结果是JSON格式的字符串转化为字典。但是需要注意的书，如果返回结果不是JSON格式，便会出现解析错误，抛出json.decoder.JSONDecodeError异常。
抓取网页
我们以知乎为例：

import requests

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}
r = requests.get("https://www.zhihu.com/explore",headers=headers)
print(r.text)

运行结果如下：
在这里插入图片描述
抓取二进制数据
上面的例子中，返回的是一个HTML文档。如果想抓取图片、音频、视频等文件，应该怎么办呢？
实际上这些文件都是由二进制码组成的，由于有特定的保存格式和对应的解析方式，我们才能看到，所以要抓取就要拿到它们的二进制码。
下面以Github的站点图标为例：
在这里插入图片描述

import requests

r = requests.get("http://github.com/favicon.ico")
print(r.text)
print(r.content)

运行结果如下，前面是text的结果，后面为content结果
在这里插入图片描述
可以看到，前者出现了乱码，后者前带有一个b，这就是bytes类型的数据。由于图片是二进制数据，所以前者在打印时转化为str类型，也就是图片直接转化为字符串，这理所当然会出现乱码。
我们将图片保存：

import requests

files = {'file':open('favicon.ico','rb')}
r = requests.post("http://httpbin.org/post",files=files)
print(r.text)

这里使用了open（）方法，它的第一个参数是文件名称，第二个参数代表以二进制写的形式打开，可以写入二进制数据。运行结束后，文件夹里多出了名为favicon.ico的图标，如图：
在这里插入图片描述
同样，音频和视频也可以使用这种方法获取。
添加headers
与urllib.request一样，我们也可以通过headers参数来传递头信息。

import requests

r = requests.get("https://www.zhihu.com/explore")
print(r.text)

运行结果如下：

<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr><center>openresty</center>
</body>
</html>

但是加上headers并加上User-Agent信息就没问题了：

import requests

headers = {
     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
 }
r = requests.get("https://www.zhihu.com/explore",headers=headers)
print(r.text)

运行结果
在这里插入图片描述

4.POST请求

另一种比较常见的请求方式是POST
实例：

import requests


data={'name':'germey','age':'22'}
r = requests.post("http://htttpbin.org/post",data=data)
print(r.text)

运行结果

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "age": "22", 
    "name": "germey"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "18", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.26.0", 
    "X-Amzn-Trace-Id": "Root=1-616a60f0-6f707f19462de3d35a5bcece"
  }, 
  "json": null, 
  "origin": "223.104.204.36", 
  "url": "http://httpbin.org/post"
}

可以发现，我们成功获得了返回结果，其中form部分就是提交的数据，这就证明POST请求成功。

5.响应

import requests
r = requests.get('http://www.jianshu.com')
print(type(r.status_code),r.status_code)
print(type(r.headers),r.headers)
print(type(r.cookies),r.cookies)
print(type(r.url),r.url)
print(type(r.history),r.history)

运行结果

<class 'int'> 403
<class 'requests.structures.CaseInsensitiveDict'> {'Server': 'Tengine', 'Date': 'Sat, 16 Oct 2021 05:24:04 GMT', 'Content-Type': 'text/html', 'Transfer-Encoding': 'chunked', 'Connection': 'keep-alive', 'Vary': 'Accept-Encoding', 'Strict-Transport-Security': 'max-age=31536000; includeSubDomains; preload', 'Content-Encoding': 'gzip'}
<class 'requests.cookies.RequestsCookieJar'> <RequestsCookieJar[]>
<class 'str'> https://www.jianshu.com/
<class 'list'> [<Response [301]>]

这里分别打印输出status_code属性得到状态码，输出headers属性得到响应头，输出cookies属性得到Cooikes，输出url属性得到URL，输出history得到请求历史。

高级用法

1.文件上传

import requests

files = {'file':open('favicon.ico','rb')}
r = requests.post("http://httpbin.org/post",files=files)
print(r.text)

我们用上一节保存的文件模拟上传过程。
运行结果如下：

{
  "args": {}, 
  "data": "", 
  "files": {
    "file": "data:application/octet-stream;base64,AAABAAIAE.........="
  }, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "6665", 
    "Content-Type": "multipart/form-data; boundary=41d86d50393a0a142d8e0165ff1e2548", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.26.0", 
    "X-Amzn-Trace-Id": "Root=1-616a64c6-50dd23497def21c426a0fec8"
  }, 
  "json": null, 
  "origin": "111.18.247.221", 
  "url": "http://httpbin.org/post"
}

2.Cooikes

import requests

r = requests.get("https://www.baidu.com")
print(r.cookies)
for key,value in r.cookies.items():
    print(key+'='+value)

运行结果：

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
BDORZ=27315

3.会话维持

我们怎么在代码中维持同一个会话呢?这时候就有了新的理器——Session对象
先来看这个例子：

import requests

requests.get('http://httpbin.org/cookies/set/number/123456789')
r = requests.get('http://httpbin.org/cookies')
print(r.text)

输出

{
  "cookies": {}
}

好像没法获取到Cooikes，我们再试试Session：

import requests

s = requests.Session()
s.get('http://httpbin.org/cookies/set/number/123456789')
r = s.get('http://httpbin.org/cookies')
print(r.text)

输出

{
  "cookies": {
    "number": "123456789"
  }
}

4.SSL证书验证

此外，requests还提供了证书验证的功能。当发送HTTP请求时，它会检查SSL证书，我们可以使用verify参数控制是否检查此证书。其实不加的话，默认是True，会自动验证。
同样也可以使用urllib3.disable_warnings()忽略警告。

5.代理设置

import requests

proxies = {
    "http":"http://110.93.161.226:3128",
    "https":"http://10.93.161.226:1080"
}
requests.get("https://www.taobao.com",proxies=proxies)

6.超时设置

import requests

r = requests.get("https://www.taobao,com",timeout=1)
print(r.status_code)

也可以这样写，分为连接和读取两个阶段

r = requests.get("https://www.taobao.com",timeout=(5,11,30))

永久等待可以这样写

r = requests.get("https://www.taobao.com",timeout=None)

或者直接不加参数

r = requests.get("https://www.taobao.com")

7.身份认证

import requests
from requests.auth import HTTPBasicAuth

r = requests.get('http://localhost:5000',auth=HTTPBasicAuth('username','password'))
print(r.status_code)

8.Prepared Request

之前说urllib可以将请求表示为数据结构，其中各个参数都可以通过Request对象表示。requests同样可以做到，这个数据结构就叫Prepared Request。例如：

from requests import Request,Session

url = 'http://httpbin.org/post'
data = {
    'name':'germey'
}
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}
s = Session()
req = Request('POST',url,data=data,headers=headers)
prepped = s.prepare_request(req)
r = s.send(prepped)
print(r.text)

运行结果：

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "name": "germey"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "11", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36", 
    "X-Amzn-Trace-Id": "Root=1-616a6c12-2273ef8613f764892e0e6050"
  }, 
  "json": null, 
  "origin": "111.18.247.221", 
  "url": "http://httpbin.org/post"
}

可以看到，同样达到了POST请求的效果。