【学习笔记】Python之Requests库

Requests库的7个主要方法

方法	说明
requests.request()	构造一个请求，支撑以下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

获得一个网页的最简单的一行代码：r = requests.get(url)

作用：构造一个向服务器请求资源的Request对象，返回一个包含服务器资源的Response对象。

*requests.get(url,params=None,*kwargs)

• url：拟获取页面的url链接
• params：url中的额外参数，字典或字节流格式，可选
• **kwargs：12个控制访问的参数

Response对象包含爬虫返回的全部内容

Response对象的属性

属性	说明
r.status_code	HTTP请求的返回状态，200表示连接成功，404或其他表示失败
r.text	HTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）
r.content	HTTP响应内容的二进制形式
r.headers	HTTP响应内容的头部信息（用很少的网络流量获取网络资源的概要信息）

理解Requests库的异常

异常	说明
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	(仅指)连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常(发出url请求到获得内容整个过程)
r.raise_for_status()	如果不是200，产生异常requests.HTTPError

# 爬虫网页的通用代码框架
import requests
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status() # 如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ == "__main__":
    url = "https://www.baidu.com"
    print(getHTMLText(url))

HTTP协议

HTTP，Hypertext Transfer Protocol，超文本传输协议。

HTTP是一个基于”请求与响应“模式的、无状态的应用层协议。

HTTP协议采用URL作为定位网络资源的标识。

URL格式 http://host[:port ][path]

• host：合法的Inertnet主机域名或IP地址
• port：端口号，缺省端口为80
• path：请求资源的路径

HTTP URL的理解：URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源。

HTTP协议对资源的操作

方法	说明
GET	请求获取URL位置的资源
HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

理解PATCH和PUT的区别

假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段。

需求：用户修改了UserName，其他不变。

• 采用PATCH，仅向URL提交UserName的局部更新请求。
• 采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除。

PATCH的最主要好处：节省网络带宽

Requests方法的参数

requests.request(method,url,**kwargs)

• method：请求方式，对应get/put/post等7种（上述内容提过6个）。第七种，‘OPTIONS’，向服务器获取一些服务器跟客户端能够打交道的参数，并不和获取资源直接相关。
• url：拟获取页面的url链接
• **kwargs：13个控制访问的参数，均为可选项
  params：字典或字节序列，作为参数增加到url中
  data：字典、字节序列或文件对象，作为Request的内容
  json：JSON格式的数据，作为Request的内容
  headrs：字典，HTTP定制头
  cookies：字典或CookieJar，Request中的cookie
  auth：元组，支持HTTP认证功能
  files：字典类型，传输文件
  timeout：设定超时时间，秒为单位
  proxies：字典类型，设定访问代理服务器，可以增加登录认证
  allow_redirects：True/False，默认为True，重定向开关
  stream：True/False，默认为True，获取内容立即下载开关
  verify：True/False，默认为True，认证SSL证书开关
  cert：本地SSL证书路径

requests.get(url,params=None,**kwargs)

requests.head(url,**kwargs)

requests.post(url,data=None,json=None,**kwargs)

requests.put(url,data=None,**kwargs)

requests.patch(url,data=None,**kwargs)

requests.delete(url,**kwargs)