一、基本用法
1.GET请求
①r=requests.get(url) --返回Response对象
def get(url, params=None, **kwargs):
params={... },还可增加头信息如requests.get(url,headers={...})
如果r是JSON格式的字符串,可以调用r.json()转化为字典,若不是JSON格式,则json.decoder.JSONDecoderError
②抓取网页
r.text可以获取网页信息,并且为字符串类型
③抓取二进制数据
r.content可以获取二进制数据,如图片、音频、视频等文件
④添加headers
requests.get(url,headers={...}) ---伪装成浏览器
2.POST请求
def post(url, data=None, json=None, **kwargs):
requests.post(url,data={...})
3.响应
r.status_code --返回int类型 100信息性 200成功 300重定向 400客户端错误 500服务端错误
r.headers --返回CaseInsensitiveDict类型
r.cookies --返回RequestsCookieJar类型
r.url --返回str类型
r.history --返回list类型
requests.codes ---requests内置的状态码查询对象 如requests.codes.ok 为 200
二、高级用法
1.文件上传 ---post方法的file关键字
files={"file":open("路径","rb")}
r=requests.post(url,files=files)
2.Cookies
①获取cookies
r.cookies
for k,v in r.cookies.itemes():
print(k+'='+v)
②设置cookies
直接在headers={'Cookie':...}里加上cookies
也可以通过cookies关键字来设置,不过先要构造RequestCookieJar对象
jar=requests.cookies.RequestCookieJar()
cookies=...
for cookie in cookies.split(';')
k,v=cookie.split('=',1)
jar.set(k,v)
r=requests.get(url,cookies=jar,headers=...)
3.会话维持
直接用get()或post()相当于不同的绘画,等于用两个不同的浏览器打开页面,每次都要设置cookie时很繁琐.
session相当于打开一个新的浏览器选项卡而不是一个新的浏览器,利用session可以用于模拟成功登陆成功之后再进行下一步操作
s=requests.Session()
s.get(url)
...
4.SSL证书验证
如12306的证书没有被CA机构信任,用requests访问会出现requests.exceptions.SSLError
①只需把verify参数设置为False即可
requests.get(url,verify=False)
不过有警告,可以使用requests.packages下的urllib3模块 urllib3.disable_warnings() 或者 捕获到logging模块的日志 logging.captureWarnings(True)
②使用本地证书
requests.get(url,cert='包含密钥和证书的单个文件路径')
#或
requests.get(url,cert=('cert文件路径1','key文件路径2')) #key必须是解密状态
5.代理设置
设置proxies参数
proxies={
'http':'http://10.0.0.1:3228',
'https':'https://10.0.0.1:3028',
}
requests.get(url,proxies=proxies)
若代理需要设置HTTP Basic Auth,可以使用类似http://user:password@host:port的格式来设置
proxies={'http':'http://user:password@10.0.0.1:3128',}
requests还支持SOCK协议的代理,首先安装 pip3 install 'requests[socks]'
proxies={
'http':'http':'socks5://user:password@10.0.0.1:3128',
'https':'https':'socks5://user:password@10.0.0.1:3128',
}
6.超时设置
timeout参数,默认为None,永久等待
request.get(url,timeout=1)
7.身份认证
使用HTTPBasicAuth类
import requests.auth import HTTPBasicAuth
requests.get(url,auth=HTTPBasicAuth('username','password')) 或 requests.get(url,auth=('username','password')) 默认使用HTTPBasicAuth类
requests还提供了其他认证方式,如OAuth认证,pip install requests_oauthlib ...
8.Prepared Request
from requests import Request,Session
url='...'
data={...}
headers={...}
s=Session()
req=Request('POST',url,data=data,headers=headers)
prepped=s.prepare_request(req)
r=s.send(prepped)
有了Request对象,就可以将请求作为独立的对象来看待,对于构造Request队列非常方便
本文参考文献:[1]崔庆才.python3网络爬虫开发实战[M].北京:人民邮电出版社,2018:122-138.