python爬虫-requests库

requests
response=requests.get(url,headers=headers，timeout=timeout)
response.status_code 返回状态码
response.encoding 数据编码格式

文本文件
t=response.text
二进制文件
bytes=response.content
response.json()等同于json.loads(response.text)
post请求
data = {‘name’:‘tom’,‘age’:‘22’}
response = requests.post(url, data=data)
提交json数据
response = requests.post(url, data=json.dumps(data))
使用代理
proxies = {
‘http’:“web-proxy.oa.com:8080”,
‘https’:“web-proxy.oa.com:8080”
# 若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/ 语法：
# “http”: “http://user:pass@27.154.181.34:43353/”
}
response = requests.get(url, proxies=proxies)
使用cookie
cookies = {
‘domain’:‘httpbin.org’,
}
response = requests.get(url, cookies=cookies)
基本身份验证
from requests.auth import HTTPBasicAuth
requests.get(url, auth=HTTPBasicAuth(‘user’, ‘pass’))
简写的使用方式
requests.get(url, auth=(‘user’, ‘pass’))

SSL证书验证
verify=True验证 verify=False不验证
requests.get(‘https://github.com’, verify=True)