python爬虫库——requests常用函数

GET、POST请求

• requests.request(method='', url='') # 以某种method请求

• ~~~

• response = requests.get(url='') # GET请求

• requests.get(url='', params={}) # URL中‘query’参数

• requests.get(url='', headers={}) # 请求头

• requests.get(url='', timeout='float | (float, float)') # 响应超时时间，‘tuple’类型分别指定了连接和读取的timeout

• requests.get(url='', proxies={}) # 网络代理，socks代理需安装‘requests[socks]’包

• requests.get(url='', verify=False) # 不验证SSL证书是否有效

• ~~~

• response = requests.post(url='') # POST请求

• requests.post(url='', data={}) # 提交的数据

• requests.post(url='', json={}) # content-type为application/json时，提交的数据

• requests.post(url='', files='') # 提交的文件

• requests.post(url='', headers={}) # 请求头

• requests.post(url='', timeout='float | (float, float)') # 响应超时时间，‘tuple’类型分别指定了连接和读取的timeout

• requests.post(url='', proxies={}) # 网络代理，socks代理需安装‘requests[socks]’包

• requests.post(url='', verify=False) # 不验证SSL证书是否有效

• requests.post(url='', allow_redirects=False) # 关闭接口重定向

• ~~~

• response.headers # 响应头

• response.url # 响应URL

• response.history # 请求历史

获取响应内容

• response.text # 响应体的内容

• response.content # 二进制格式数据

• response.json() # 直接解析json格式数据

判断响应状态

• response.status_code # 响应状态码

• requests.codes # 响应状态码查询对象

• ~~~

• 200 == requests.codes.ok

• 404 == requests.codes.not_found

cookie

• response.cookies # Cookie

• response.cookies.get_dict() # 将Cookie转化为字典格式

• response.cookies.items() # 将Cookie转化为元组组成的列表

• response.cookies.keys() # 以Cookie条目的名称组成的列表

• response.cookies.values() # 以Cookie条目的值组成的列表

• ~~~

• requests.get(url='', headers={'Cookie': ''}) # Cookie

• from requests.cookies import RequestsCookieJar
  cookiejar = RequestsCookieJar()
  cookiejar.set(name='', value='') # 设置单个Cookie条目的名称和键值
  requests.get(url='', cookies=cookiejar) # Cookie

HTTP基本接入认证

• requests.get(url='', auth=('username, str', 'password, str')) # 基本身份认证

• from requests.auth import HTTPBasicAuth
  auth = HTTPBasicAuth(username='', password='')
  requests.get(url='', auth=auth) # 基本身份认证

Session会话：持续跟踪会话信息，包括cookie、header，甚至是HTTP协议信息

• from requests import Session
  session = Session()
  session.cookies.set(name='', value='') # 设置单个Cookie条目的名称和键值
  session.get(url='') # GET请求