requests库（一）：

安装 pip install requests

requests库基本用法看中文文档，源码看github

官方文档： http://docs.python-requests.org/zh-CN/latest/index.html

官方中文文档：https://requests.readthedocs.io/zh_CN/latest/

github地址：http://github.com/requests/requests

还可以在pycharm中安装第三方库 file->settings->project->+

一、Request库的方法：

方法	作用
r.status_code	获取状态码
r.encoding	从请求头header中猜测的响应内容编码方式 ，如果header中不存在charset，则认为编码为ISO‐8859‐1
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）
r.content	获取响应内容的二进制bytes形式
r.text	获取响应内容的str字符串形式

二、Requests库的异常

异常类型	含义
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常

r.raise_for_status()语句：
	如果不是200，产生异常requests.HTTPError
	在方法内部判断r.status_code是否等于200，不需要增加额外的if语句，
	该语句便于利用try‐except进行异常处理

爬取网页的框架代码：

from requests import *
def getHTMLText(url):
    try:
        r=get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "出现异常"
 
if __name__ == '__main__':
    print(getHTMLText("http://www.baidu.com"))

三、请求的方法requests.method（）

method	作用
get	请求获取URL位置的资源
post	请求向URL位置的资源后附加新的数据
head	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
put	请求向URL位置存储一个资源，覆盖原URL位置的资源
patch	请求局部更新URL位置的资源，即改变该处资源的部分内容
delete	请求删除URL位置存储的资源

head：

from requests import *
r = head('http://httpbin.org/get')
print(r.headers)
print(r.text)

{'Connection': 'keep-alive', 'Server': 'meinheld/0.6.1', 'Date': 'Wed, 27 Sep 2017 15:19:45 GMT', 'Content-Type': 'application/json', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true', 'X-Powered-By': 'Flask', 'X-Processed-Time': '0.000652074813843', 'Content-Length': '262', 'Via': '1.1 vegur'}
r.text输出为空

get方法：
r=requests.get(url,params=None,**kwargs)
Url:拟获取页面的url连接
Params：url中的额外参数，字典或字节流格式，可选
**kwargs：12个控制访问的参数

get构造一个向服务器请求资源的Request对象
r为返回一个包含服务器资源的Response对象，包含爬虫返回的内容

post方法（1）：
r=requests.post(url, data=None, json=None, **kwargs)
	非字节类型（如字典）的data自动编码成字节bytes(中文也不需要自己手动去编码转换)
	区分urllib的data
		必须是字节bytes
	 	是字典时需要urlencode（）手动转字符str,str再str.encode()或者bytes(str,encoding)
	 	
	向url post一个字典或者键值对时，会被存放在表单form字段下

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = post('http://httpbin.org/post', data = payload)
print(r.text)

{
   ...
  "data": "", 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  ...
}

post方法（2）：向url post一个字符串时，被存放在data字段下：

from requests import *
r = post('http://httpbin.org/post', data = "ABC")
print(r.text)

{
  ...
  "data": "ABC", 
  "form": {}, 
   ...
}

put方法：
put(url, data=None, **kwargs)
	会覆盖之前在form字段的方法

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = put('http://httpbin.org/put', data = payload)
print(r.text)

{
  ...
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }
  ...
}

四、请求的方法requests.request(method,url,**kwargs)

requests.request(method,url,**kwargs)：
	url :拟获取页面的url链接
	method:请求方式
		r = requests.request('GET',url,**kwargs)
		r = requests.request('HEAD',url,**kwargs)
		r = requests.request('POST',url,**kwargs)
		r = requests.request('PUT',url,**kwargs)
		r = requests.request('PATCH',url,**kwargs)
		r = requests.request('delete',url,**kwargs) 
	**kwargs :  控制访问的参数，共 13 个
		（1）params
		（2）data
		（3）json
		（4）headers
		（5）cookies
		（6）auth
		（7）files
		（8）timeout
		（9）proxies
		（10）allow_redirects : True/False，默认为True，重定向开关
		（11）stream : True/False，默认为True，获取内容立即下载开关
		（12）verify : True/False，默认为True，认证SSL证书开关
		（13）cert : 本地SSL证书路径

1.params：字典或字节序列，作为参数增加到url中

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = request("GET",'http://blog.csdn.net/winycg', params = payload)
print(r.url)

输出：http://blog.csdn.net/winycg?key1=value1&key2=value2

2.data :字典、字节序列或文件对象，作为Request的内容
	data内容不放在url里，而是放在url对应的位置存储起来，与“GET”和“POST”无关，只与参数有关
	非字节类型（如字典）自动编码成字节bytes(中文也不需要自己手动去编码转换)
	传文件时不一定非要把文件放在data域，也可以放到指定的files域，后文会提到
	
	区分urllib的data
		必须是字节bytes
	 	是字典时需要urlencode（）手动转字符str,str再str.encode()或者bytes(str,encoding)

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = request("POST",'http://blog.csdn.net/winycg', data = payload)
print(r.url)
r=request("POST",'http://blog.csdn.net/winycg', data = "sad")
print(r.url)

输出：http://blog.csdn.net/winycg
           http://blog.csdn.net/winycg

4.headers :字典，HTTP定制头，模拟浏览器向服务器发起访问

from requests import *
hd = {'user‐agent': 'Chrome/10'}
r = request('POST', 'http://python123.io/ws', headers=hd)

5.cookies : 字典或CookieJar，Request中的cookie
6.auth : 元组，支持HTTP认证功能

7.files : 字典类型，传输文件，向某个链接提交文件

from requests import *
fs={"file":open("data.txt","r")}
r = request("POST",'http://blog.csdn.net/winycg', files = fs)

8.timeout : 设定超时时间，秒为单位 ，在规定的时间没有返回，就是出现timeout异常

r = requests.request('GET', 'http://www.baidu.com', timeout=10)

9.proxies : 字典类型，设定访问代理服务器，可以增加登录认证，隐藏用户爬虫的源IP地址

from requests import *
#设置http和https的代理服务器
pxs = { 'http': 'http://user:pass@10.10.10.1:1234',
'https': 'https://10.10.10.1:4321' }
r = request('GET', 'http://www.baidu.com', proxies=pxs)

10.allow_redirects : True/False，默认为True，重定向开关
11.stream : True/False，默认为True，获取内容立即下载开关
12.verify : True/False，默认为True，认证SSL证书开关
13.cert : 本地SSL证书路径