Requests库介绍

Requests库安装

1、使用管理员打开cmd，输入pip install requests
2、可以使用pip list 查看已经安装了库里面是否已经有了requests库，也是到IDE里面直接引用，看是否可以正常引用

Requests库的7个主要方法

方法	说明
requests.request()	构造一个请求，支撑以下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()	向HTML网页提交post请求的方法，对应HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

Requests对象的5个属性

属性	说明
r.ststus_code	HTTP请求的返回状态，200表示连接成功，404连接失败
r.text	HTTP响应内容的字符串形式，既，url对应的页面内容
r.encoding	从HTTP head中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）
r.content	HTTP响应内容的二进制形式

理解Requests库的异常

异常	说明
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常

爬取网页的通用代码框架

import requests

def getHTMLText (url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()  #如果状态不是200,引发HTTPError异常
        r.encoding = r.apparent_encoding #将apparent_encoding替代encoding，使返回解码的格式是正常的
        return r.text
    except:
        return "产生异常"

if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

方法介绍

• 1、get()
  r = requests.get(url,params=None,**kwargs)
  url：拟获取页面的url连接
  params：url中额外参数，字典或字节流格式，可选
  **kwargs：12个控制访问的参数

实例：

import requests

r = requests.get("http://www.baidu.com")
print(r.status_code)

返回结果：
200

• 2、post()
  requests.post(url,data=None,json=None,**kwargs)
  url：拟更新页面的url链接
  data：字典、字节序列或文件，request的内容
  json：json格式的数据，request的内容
  **kwargs：11个控制访问的参数
  例1：

import requests

payload = {"key1":"value1","key2":"value2"}
r = requests.post("http://httpbin.org/post",data=payload)
print(r.text)

结果：
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.22.0"
  }, 
  "json": null, 
  "origin": "183.40.12.54, 183.40.12.54", 
  "url": "https://httpbin.org/post"

有结果可以看得出，向URL POST一个字典，自动编码为form（表单）

例2：

import requests


r = requests.post("http://httpbin.org/post",data="ABC")
print(r.text)

结果：
{
  "args": {}, 
  "data": "ABC", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "3", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.22.0"
  }, 
  "json": null, 
  "origin": "183.40.12.54, 183.40.12.54", 
  "url": "https://httpbin.org/post"

有结果可以看得出，向URL POST一个字典，自动编码为data

• 3、head()
  requests.head（url,**kwargs）
  url：拟获取页面的url链接
  **kwargs：13个控制访问的参数

import requests


r = requests.head("http://httpbin.org/get")
print(r.headers)

结果：
{'Access-Control-Allow-Credentials': 'true', 'Access-Control-Allow-Origin': '*', 'Content-Encoding': 'gzip', 'Content-Type': 'application/json', 'Date': 'Fri, 03 Jan 2020 08:35:11 GMT', 'Referrer-Policy': 'no-referrer-when-downgrade', 'Server': 'nginx', 'X-Content-Type-Options': 'nosniff', 'X-Frame-Options': 'DENY', 'X-XSS-Protection': '1; mode=block', 'Connection': 'keep-alive'}

• 4、put()
  requests.put（url,data=None,**kwargs）
  url：拟获取页面的url链接
  data：字典、字节序列或文件，request的内容
  **kwargs：12个控制访问的参数

import requests

payload = {"key1":"value1","key2":"value2"}
r = requests.put("http://httpbin.org/put",data=payload)
print(r.text)

结果：
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.22.0"
  }, 
  "json": null, 
  "origin": "183.40.12.54, 183.40.12.54", 
  "url": "https://httpbin.org/put"
}

• 5、patch
  request.patch(url,data=None,**kwargs)
  url：拟获取页面的url链接
  data：字典、字节序列或文件，request的内容
  **kwargs：12个控制访问的参数

• 6、delete
  request.delete(url,**kwargs)
  url：拟获取页面的url链接
  **kwargs：13个控制访问的参数

Requests库主要方法解析

requests.request(method,url,**kwargs)
method：请求方式，对应get/put等7种
url：获取页面的url连接
**kwargs：控制访问的参数，共13个

参数解释：
params：字典或字节序列，作为参数增加到url中
data：字典、字节序列或文件对象，作为request的内容
json：json格式的数据，作为request的内容
headers：字典，HTTP定制头
cookies：字典或cookiesjar，request中的cookie
auth：元组，支持http认证功能
files：字典类型，传输认证功能
timeout：设定超时时间，秒为单位
proxies：字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects：True/False，默认为True，重定向开关
stream：True/False，默认为True，获取内容立即下载开关
verify：True/False，默认为True，认证SSL证书开关
cert：本地SSL证书路径

r = requests.request(“GET”,url,**kwargs）
r = requests.request(“HEAD”,url,**kwargs）
r = requests.request(“POST”,url,**kwargs）
r = requests.request(“PUT”,url,**kwargs）
r = requests.request(“PATCH”,url,**kwargs）
r = requests.request(“DELETE”,url,**kwargs）
r = requests.request(“OPTIONS”,url,**kwargs）

HTTP协议

HTTP(Hypertext Transfer Protocol)：超文本传输协议
http是一个基于“请求与相应”模式的、无状态的应用层协议

URL格式：http://host[:port][path]
host：合法的Internet主机域名或IP地址
port：端口号，缺省端口为80
path：请求资源的路径

HTTP URL的理解：URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源

HTTP协议对资源的操作

方法	说明
GET	请求获取URL位置的资源
HEAD	请求获取URL位置资源的响应消息报告，既获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源，既改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

理解PATCH和PUT的区别
假设URL位置有一个组数据UserInfo,包括UserID、UserName等20个字段
需求：用户修改了UserName，其他不变
采用PATCH，仅向URL提交UserName的局部更新请求
采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除