Python Request库入门

Request库方法介绍

方法	说明
requests.request()	构造一个请求，支撑一下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

request.get()方法

构造一个向服务器请求资源的Request对象
返回一个包含服务器资源的Response对象

r = requests.get(url)
requests.get(url, params=None, **kwargs)

url：拟获取页面的url链接
params：url中的额外参数，字典或字节流格式，可选
**kwargs：12个控制访问的参数

def get(url, params=None, **kwargs):
    kwargs.setdefault('allow_redirects', True)
    return request('get', url, params=params, **kwargs)

response对象的属性

属性	说明
r.status_code	HTTP请求的返回状态，200表示连接成功，404表示失败
r.text	HTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容分析出的响应内容编码方式（备选编码方式）
r.content	HTTP响应内容的二进制形式

理解Response的编码

属性	说明
r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）

r.encoding：如果header中不存在charset，则认为编码为ISO-8859-1
r.apparent_encoding：根据网页内容分析出的编码方式

理解Requests库的异常

异常	说明
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooMangRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常
r.raise_for_status()	如果不是200，产生异常requests.HTTPError

爬去网页的通用代码框架

import requests
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status() #如果状态不是200，引发HTTPError异常#
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

HTTP协议对资源的操作

方法	说明
GET	请求获取URL位置的资源
HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储的一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

Request方法

**requests.request(method, url, kwargs)

method：请求方式
url：拟获取页面的url链接

r = requests.request('GET', url, \*\*kwargs)
r = requests.request('HEAD', url, \*\*kwargs)
r = requests.request('POST', url, \*\*kwargs)
r = requests.request('PUT', url, \*\*kwargs)
r = requests.request('PATCH', url, \*\*kwargs)
r = requests.request('DELETE', url, \*\*kwargs)
r = requests.request('OPTIONS', url, \*\*kwargs)

**kwargs：控制访问的参数，均为可选项，共13个
params：字典或字节序列，作为参数增加到url中`

>>> kv = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.request('GET', 'http://python123.io/ws',  params=kv)
>>> print(r.url)
http://python123.io/ws?key1=value1&key2=value2

data：字典、字节序列或文件对象，作为Request的对象

>>> kv = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.request('POST', 'http://python123.io/ws', data=kv)
>>> body = '主体内容'
>>> r = requests.request('POST', 'http://python123.io/ws', data=body)

json：JSON格式的数据，作为Request的内容

>>> kv = {'key1': 'value1'}
>>> r = requests.request('POST', 'http://python123.io/ws', json=kv)

headers：字典，HTTP定制头

>>> hd = {'user-agent': 'Chrome/10'}
>>> r = requests.request('POST', 'http://python123.io/ws', headers=hd)

cookies：字典或CookieJar，Request中的cookie
auth：元组，支持HTTP认证功能
files：字典类型，传输文件

>>> fs = {'file': open('data.xls','rb')}
>>> r = requests.request('POST', 'http://python123.io/ws', files=fs)

timeout：设定超时时间，秒为单位

>>> r = requests.request('GET', 'http://www.baidu.com', timeout=10)

proxies：字典类型，设置访问代理服务器，可以增加登录认证

>>> pxs = {'http': 'http://user:pass@10.10.10.1:1234'
                'https': 'https://10.10.10.1:4321'}
>>> r = requests.request('GET', 'http://www.baidu.com', proxies=pxs)

allow_redirects：True/False，默认为Ture，重定向开关
stream：True/False，默认为True，获取内容立即下载开关
verigy：True/False，默认为True，认证SSL证书开关
cert：本地SSL证书路径
requests.get(url, params=None, **kwargs)

url：拟获取页面的url链接
params：url中的额外参数，字典或字节流格式，可选
**kwargs：12个控制访问的参数

requests.head(url, **kwargs)

url：拟获取页面的url链接
**kwargs：13个控制访问的参数

requests.post(url, data=None, json=None, **kwargs)

url：拟获取页面的url链接
data：字典、字节序列或文件，Request的内容
json：JSON格式的数据，Request的内容
**kwargs：11个控制访问参数

requests.put(url, data=None, **kwargs)

url：拟更新页面的url链接
data：字典、字节序列或文件，Request的内容
**kwargs：12个控制访问参数

requests.delete(url, **kwargs)

url：拟删除页面的url链接
**kwargs：13个控制访问参数