python3 requests session_python3 requests

1 前言

官网中对requests的介绍是"HTTP for Humans"

Requests allows you to send organic, grass-fed HTTP/1.1 requests, without the need for manual labor. There’s no need to manually add query strings to your URLs, or to form-encode your POST data. Keep-alive and HTTP connection pooling are 100% automatic, thanks to urllib3.

GET请求不用&拼接参数，POST请求也毋须编码请求体

总之简单易用，是接口测试和爬虫的必备神器

2 基本使用

2-1 get/post

import requests

//get无参数

r = requests.get('https://httpbin.org/get')

//get有参数，使用params

data = {'key': 'value'}

r = requests.get('https://httpbin.org/get', params=data)

//post有参数，使用data

r = requests.post('https://httpbin.org/post', data = {'key':'value'})

2-2 自定义请求头

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'

}

r = requests.get('https://httpbin.org/get', headers=headers)

2-3 响应内容

r.content 响应内容的字节码，一般处理二进制文件

r.text 自动选择适当的编码，对r.content解码

r.json() 解析json格式的数据，如果无法解析，则抛出异常

3 API

无论是get/post/delete/put/patch/head/options，都是调用request方法

参数如下：

url 请求的URL地址

params GET请求参数

data POST请求参数

json 同样是POST请求参数，要求服务端接收json格式的数据

headers 请求头字典

cookies cookies信息(字典或CookieJar)

files 上传文件

auth HTTP鉴权信息

timeout 等待响应时间，单位秒

allow_redirects 是否允许重定向

proxies 代理信息

verify 是否校验证书

stream 如果为False，则响应内容将直接全部下载

cert 客户端证书地址

4 Session对象

Session可以持久化请求过程中的参数，以及cookie

尤其是需要登录的网页，使用session可以避免每次的登录操作

s = requests.Session()

s.cookies = requests.cookies.cookiejar_from_dict({'key': 'value'})

r = s.get('https://httpbin.org/cookies')

print(r.text)

===========================

{

"cookies": {

"key": "value"

}

}

另外session还可提供默认值

s = requests.Session()

s.headers.update({'h1':'val1', 'h2':'val2'})

r = s.get('https://httpbin.org/headers', headers={'h2': 'val2_modify'})

print(r.text)

============================

"H1": "val1",

"H2": "val2_modify",

5 Response对象

字段

cookies 返回CookieJar对象

encoding 报文的编码

headers 响应头

history 重定向的历史记录

status_code 响应状态码，如200

elaspsed 发送请求到接收响应耗时

text 解码后的报文主体

content 字节码，可能在raw的基础上解压

方法

json() 解析json格式的响应

iter_content() 需配置stream=True，指定chunk_size大小

iter_lines() 需配置stream=True，每次返回一行

raise_for_status() 400-500之间将抛出异常

close()

6 Prepared Requests

一般情况下，会一次性包装好请求头，请求参数，cookies，鉴权等；但如果通过某些条件判断，可以局部组装requests

s = requests.Session()

req = requests.Request('GET', url='https://httpbin.org/get')

prep = s.prepare_request(req)

headers = {

'User-Agent': 'Chrome/67.0.3396.62'

}

prep.prepare(

method='POST',

url='https://httpbin.org/post',

headers=headers,

data={'key': 'value'}

)

r = s.send(prep)

print(r.text)

===================

{

"args": {},

"data": "",

"files": {},

"form": {

"key": "value"

},

"headers": {

"Accept-Encoding": "identity",

"Connection": "close",

"Content-Length": "9",

"Content-Type": "application/x-www-form-urlencoded",

"Host": "httpbin.org",

"User-Agent": "Chrome/67.0.3396.62"

},

"json": null,

"origin": "xx.xx.xx.xx",

"url": "https://httpbin.org/post"

}