Python Requests库详解

r=requests.get(url,params=None,**kwargs)

Url:拟获取页面的url连接

Params：url中的额外参数，字典或字节流格式，可选

**kwargs：12个控制访问的参数

get构造一个向服务器请求资源的Request对象

r为返回一个包含服务器资源的Response对象，包含爬虫返回的内容

Request库的方法：

r.status_code ：HTTP请求的返回状态，200表示连接成功，404表示失败

r.text ：HTTP响应内容的字符串形式，即，url对应的页面内容根据，r.encoding显示网页内容

r.encoding ：从HTTP header中猜测的响应内容编码方式，如果header中不存在charset，则认为编码为ISO‐8859‐1

r.apparent_encoding： 从内容中分析出的响应内容编码方式（备选编码方式）

r.content ：HTTP响应内容的二进制形式

 

Requests库的异常

requests.ConnectionError 网络连接错误异常，如DNS查询失败、拒绝连接等

requests.HTTPError HTTP错误异常

requests.URLRequired URL缺失异常

requests.TooManyRedirects 超过最大重定向次数，产生重定向异常

requests.ConnectTimeout 连接远程服务器超时异常

requests.Timeout 请求URL超时，产生超时异常

r.raise_for_status()：如果不是200，产生异常requests.HTTPError，在方法内部判断r.status_code是否等于200，不需要增加额外的if语句，该语句便于利用try‐except进行异常处理

爬取网页的框架代码：

from requests import *
def getHTMLText(url):
    try:
        r=get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "出现异常"

if __name__ == '__main__':
    print(getHTMLText("http://www.baidu.com"))

http对资源的操作与requests库的方法完全一致：

get 请求获取URL位置的资源

head 请求获取URL位置资源的响应消息报告，即获得该资源的头部信息

post请求向URL位置的资源后附加新的数据

put 请求向URL位置存储一个资源，覆盖原URL位置的资源

patch 请求局部更新URL位置的资源，即改变该处资源的部分内容

delete 请求删除URL位置存储的资源

head：

from requests import *
r = head('http://httpbin.org/get')
print(r.headers)
print(r.text)

{'Connection': 'keep-alive', 'Server': 'meinheld/0.6.1', 'Date': 'Wed, 27 Sep 2017 15:19:45 GMT', 'Content-Type': 'application/json', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true', 'X-Powered-By': 'Flask', 'X-Processed-Time': '0.000652074813843', 'Content-Length': '262', 'Via': '1.1 vegur'}

r.text输出为空

post方法：向url post一个字典或者键值对时，会被存放在表单form字段下

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = post('http://httpbin.org/post', data = payload)
print(r.text)

{
   ...
  "data": "", 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  ...
}

post方法：向url post一个字符串时，被存放在data字段下：

from requests import *
r = post('http://httpbin.org/post', data = "ABC")
print(r.text)

{
  ...
  "data": "ABC", 
  "form": {}, 

   ...
}

put方法：会覆盖之前在form字段的方法

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = put('http://httpbin.org/put', data = payload)
print(r.text)

{

  ...
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }

  ...
}

requests.request(method,url,**kwargs)

 url :拟获取页面的url链接

method:请求方式
r = requests.request('GET',url,**kwargs)
r = requests.request('HEAD',url,**kwargs)
r = requests.request('POST',url,**kwargs)
r = requests.request('PUT',url,**kwargs)
r = requests.request('PATCH',url,**kwargs)
r = requests.request('delete',url,**kwargs) 

**kwargs :  控制访问的参数，共 13 个：

1.params：字典或字节序列，作为参数增加到url中

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = request("GET",'http://blog.csdn.net/winycg', params = payload)
print(r.url)

输出：http://blog.csdn.net/winycg?key1=value1&key2=value2

2.data :字典、字节序列或文件对象，作为Request的内容

data内容并不放在url里，而是放在url对应的位置存储起来，与“GET”和“POST”无关，只与参数有关

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = request("POST",'http://blog.csdn.net/winycg', data = payload)
print(r.url)
r=request("POST",'http://blog.csdn.net/winycg', data = "sad")
print(r.url)

输出：http://blog.csdn.net/winycg
           http://blog.csdn.net/winycg

3.json : JSON格式的数据，作为Request的内容
存储在服务器的json域上

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = request("POST",'http://blog.csdn.net/winycg', json = payload)

4.headers :字典，HTTP定制头
模拟浏览器向服务器发起访问

from requests import *
hd = {'user‐agent': 'Chrome/10'}
r = request('POST', 'http://python123.io/ws', headers=hd)

5.cookies : 字典或CookieJar，Request中的cookie
6.auth : 元组，支持HTTP认证功能 

7.files : 字典类型，传输文件
向某个链接提交文件

from requests import *
fs={"file":open("data.txt","r")}
r = request("POST",'http://blog.csdn.net/winycg', files = fs)

8.timeout : 设定超时时间，秒为单位 

在规定的时间没有返回，就是出现timeout异常

r = requests.request('GET', 'http://www.baidu.com', timeout=10)

9.proxies : 字典类型，设定访问代理服务器，可以增加登录认证
隐藏用户爬虫的源IP地址

from requests import *
#设置http和https的代理服务器
pxs = { 'http': 'http://user:pass@10.10.10.1:1234',
'https': 'https://10.10.10.1:4321' }
r = request('GET', 'http://www.baidu.com', proxies=pxs)

10.allow_redirects : True/False，默认为True，重定向开关
11.stream : True/False，默认为True，获取内容立即下载开关
12.verify : True/False，默认为True，认证SSL证书开关
13.cert : 本地SSL证书路径