python爬虫——requests模块（嵩天慕课爬虫学习笔记）

导入 import requests

下面是一个简单的例子

url="http://www.baidu.com"    #设置链接网址
r=requests.get(url)       #获取网页
r.status_code      #检查状态，200为成功，其它均为失败
r.encoding='utf-8'    #设置编码格式
r.text            #输出网页源代码

Requests库的两个对象——Response与Request

Response包含了爬虫返回的对象

属性：

r.status_code    返回状态，200表示成功

r.text     返回内容的字符串形式

r.encoding     从HTTP header中检测响应内容的编码形式(此属性影响r.text输出的格式)

r.apparent_encoding      从内容中分析响应内容的编码格式

r.content      响应内容的二进制形式

一般使用r.encoding=r.apparent_encoding将内容编码兼容中文

HTTP协议

http(Hypertext Transfer Protocol)超文本传输协议，是一个基于“请求与响应”模式(客户端请求服务端响应)的、无状态(第一次请求与第二次无关系)的应用层协议(应用层:HTTP/FTP/SMTP/DNS；运输层:TCP/UDP；网络层:IP)

url格式http://host[:port][path]       url是通过HTTP协议存取资源的路径

host:合法域名或IP地址

port:端口号，缺省为80

path:请求资源路径

HTTP协议对资源的操作

GET  请求URL位置的资源

HEAD  请求URL位置资源的响应信息报告，即头部信息

POST   请求URL位置资源后附加新的数据

PUT   请求在URL位置存储资源，覆盖原资源

PATCH   请求局部更新URL位置的资源

DELETE   删除URL位置存储的资源

Requests库的七个方法

requests.request()    构造一个请求，下面6个方法都是利用此方法封装

requests.get()     获取HTML网页主要方法，对应于HTTP的GET

requests.head()      获取HTML网页头信息，对应于HTTP的HEAD

requests.post()      向HTML网页提交POST请求，对应于HTTP的POST

requests.put()       向HTML网页提交PUT请求，对应于HTTP的PUT

requests.patch()       向HTML网页提交局部修改请求，对应HTTP的PATCH

requests.delete()      向HTML网页提交删除请求，对应HTTP的DELETE

requests.request(method,url,**kwargs)

method:请求方式，对应get/head/put/post/patch/detele/options

url:页面链接

**kwargs:13个访问控制参数

13个访问控制参数(可选的,即传入字典形式的一部分，具体可查双星参数的使用形式)

url='http://python123.io/ws'
kv={'key1':'value','key2':'value2'}

#param键,字典或字节序列
r=requests.request('GET',url,params=kv)
#r.url为  http://python123.io/ws?key1=value&key2=value2

#data键,字典、字节序列或文件对象,也可传字符串
r=requests.request('POST',url,data=kv)

#json键，json数据格式
r=requests.request('POST',url,json=kv)

#headers键,字典，伪装成浏览器
hd={'user-agent':'chrome/10'}
r=requests.request('POST',url,headers=hd)

#files键，字典类型，传输文件
fs={'file':open('data.xls','rb')}
r=requests.request('POST',url,files=fs)

#timeout键，设置超时时间，秒为单位
r=requests.request("GET',url,timeout=10)

#proxies键，字典类型，设置访问服务器，增加登录认证
pxs={'http': 'http://user:pass@10.10.10.1:1234
     'https':'https://10.10.10.1:4321}
r=requests.request("GET',url,proxies=pxs)

'''
cookies:字典或cookieJar,Request中的cookie
auth:元组，支持HTTP认证功能

allow_redirects:True/False,默认为True，重定向开关
stream:True/False，默认为True,获取内容立即下载开关
verify:True/False,默认为True,认证SSL证书开关
cert:本地SSL证书路径
'''

requests.get(url,params=None,**kwargs)

url:获取页面的链接

params:字典或字节流格式，可选

**kwargs:控制访问参数12个，除了已内置的params

相当于request('get',url,params=params,**kwargs)

requests.head(url,**kwargs)

**kwargs：13个控制访问参数

requests.post(url,data=None,json=None,**kwargs)

**kwargs：11个控制访问参数，除了内置data与json

requests.put(url,data=None,**kwargs)

**kwargs：12个控制访问参数，除了内置data

requests.patch(url,data=None,**kwargs)

**kwargs：12个控制访问参数，除了内置data

requests.delete(url,**kwargs)

**kwargs：13个控制访问参数

Requests库的异常

requests.ConnectionError    网络连接异常

requests.HTTPError     HTTP层面的错误异常

requests.URLRequired    URL缺失的异常

requests.TooManyRedirects  超过最大重定向次数

requests.ConnectTimeout    连接远程服务器超时异常

requests.Timeout   请求URL超时

其它

利用r.request.headers查看r的user-agent