python requests 库使用小结(一)

一 安装：
推荐方式：
pip install requests
二 快速功能预览：
1 发送一个请求可以是get put post head delete options

>>> import requests
>>> r = requests.get('http://blog.csdn.net/hanglinux')
>>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('http://httpbin.org/delete')
>>> r = requests.head('http://httpbin.org/get')
>>> r = requests.options('http://httpbin.org/get')

2传递参数
可以向url传递key/value 参数：

>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get('http://httpbin.org/get', params=payload)

3 获得请求的内容：

>>> import requests
>>> r = requests.get('http://blog.csdn.net/hanglinux')
>>> r.text

同时可以查看和修改编码：

>>> r.encoding
'utf-8'
>>> r.encoding = 'ISO-8859-1'

格式化成json形式：
r.json()

4 设定请求头
特别是在写爬虫的时候，如果没有请求头很有可能被网站屏蔽访问，添加请求头的方式：

headers = { "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Encoding":"gzip, deflate, sdch, br",
"Accept-Language":"en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4",
"cache-control":"max-age=0",
"Referer":"http://www.example.com/",
"User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}
url=‘http://blog.csdn.net/hanglinux’
r = requests.get(url, headers=headers)

5 更加复杂的POSt请求：

>>> payload = {'key1': 'value1', 'key2': 'value2'}

>>> r = requests.post("http://httpbin.org/post", data=payload)
>>> print(r.text)
{
...
"form": {
"key2": "value2",
"key1": "value1"
},
...
}

发送json 格式的参数，这里以github为例子：

>>> import json


>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}


>>> r = requests.post(url, data=json.dumps(payload))

POST 方式发送文件：

>>> url = 'http://httpbin.org/post'
>>> files = {'file': open('report.xls', 'rb')}


>>> r = requests.post(url, files=files)
>>> r.text
{
...
"files": {
"file": "<censored...binary...data>"
},
...
}

提示：
强力推荐打开文件的时候使用binary mode。这时因为requests会尝试提供Content-Length 的bytes值作wei
文件大小，如果用text mode打开文件，可能发生错误.


6 请求的相应状态:

>>> r = requests.get('http://httpbin.org/get')
>>> r.status_code
200

>>> r = requests.get('http://httpbin.org/get')
>>> r.status_code
200



同时requests内建了状态对象,提供判断使用:
>>> r.status_code == requests.codes.ok
True


7 Cookies:
如果响应内容里面包含Cookie,可以很容易的访问到:

>>> url = 'http://example.com/some/cookie/setting/url'
>>> r = requests.get(url)

>>> r.cookies['example_cookie_name']
'example_cookie_value'

同时也可以发送cookie:

>>> url = 'http://httpbin.org/cookies'
>>> cookies = dict(cookies_are='working') 需要转换成字典的形式


>>> r = requests.get(url, cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "working"}}'

8.请求超时时间
可以设置请求的超时时间,用timeout 参数,

requests.get('http://github.com', timeout=0.001)

9 错误和异常处理:
当出现了网络问题,比如 dns错误 拒绝访问等 requests将跑出一个ConnectionError异常到上层.
超时的时候会抛出:Timeout异常.
如果HTTP返回不成功的状态,将返回HTTPError错误.