Python网络爬虫与信息提取学习笔记
Requests库主要解析方法
**requests.request(method,url,kwargs)
Method:请求方式:GET HEAD POST PUT PATCH delete OPTIONS
**kwargs:控制访问参数,均为可选项(13个)
①params:字典或字节序列,作为参数增加到url中(对url进行修改)
kv ={'key1':'value1','key2':'value2'}
r=requests.request("GET","http://python123.io/ws",params=kv)
print(r.url)
#https://python123.io/ws?key1=value1&key2=value2#
②data:字典,字节序列或文件对象,作为request的内容 向服务器提供或提交资源时使用
r=requests.request("POST","http://python123.io/ws",data=kv)
body="主体内容"
r=requests.request("POST","http://python123.io/ws",data=kv)
③json:JSON格式数据,作为request的内容 向服务器提供或提交资源时使用
kv ={'key1':'value1'}
r=requests.request('POST','http://python123.io/ws',json=kv)
④headers:字典,HTTP定制头
hd={'user-agent':'Chrome/10'}
r=requests.request('POST','http://python123.io/ws',headers=hd)
⑤cookies:字典或CookieJar,request中的cookie
⑥auth:元祖,支持HTTP认证功能
⑦files:字典类型,传输文件
fs={'file':open('data.xis','rb')}
r=requests.request('POST','http://python123.io/ws',files=fs)
⑧timeout:设定超时时间,以秒为单位
r=requests.request(“GET”,‘http://www.baidu.com’,timeout=10)
⑨proxies:字典类型,设定访问代理服务器,可以增加登录认证(隐藏爬取地址)
pxs={'http':'http://user:pass@10.10.10.1:1234',
'https':'https://10.10.10.1:1234'}
r=requests.request("GET",'http://www.baidu.com',proxies=pxs)
⑩allow_redirects:True/False,默认为True,重定向开关
11.stream:True/False,默认为True,获取内容立即下载开关
12.verify:True/False,默认为True,认证SSL证书开关
13.cert:本地SSL证书路径
**requests.get(url,params=None,kwargs)
params: url中的额外参数,字典或字节流格式,可选
**kwargs:12个控制访问的参数(除params)
**requests.head(url,kwargs)
**kwargs:13个控制访问的参数
requests.post(url,data=None,json=None,**kwargs)( 11个控制访问的参数)
requests.put(url,data=None,**kwargs)( 12个控制访问的参数)
requests.patch(url,data=None,json=None,**kwargs)( 12个控制访问的参数)
requests.delete (url,**kwargs)( 13个控制访问的参数)