python requests库入门

首先在cmd里面下载 pip install requests 可能会报错,百度就解决了.

1.r=request.get(url) 构造一个向服务器请求资源的Request对象,返回一个包含服务器的Response对象.

2.Response对象属性

2.1. r.status_code HTTP请求的返回状态,200表示成功,404表示失败.
2.2. r.text HTTP响应内容的字符串形式,即,url对应的页面内容
2.3 r.encoding 从HTTP header中猜测的响应内容编码方式
2.4 r .apparent_encoding 从内容中分析的响应内容编码方式(备选编码方式)
2.5 r.content HTTP响应的二进制形式

r.encoding:如果header中不存在charset,则认为编码为ISO-8859-1
r.apparent_encoding:根据页面内容来返回编码

3.Requests库的异常

requests.ConnectionError 网络连接错误,如DNS查询失败、拒绝连接等
requests.HTTPError HTTP错误异常
requests.URLRequired URL缺失异常
requests.TooManyRedirects 超过最大重定向次数,产生重定向异常
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 请求URL超时,产生超时异常

r.raise_for_status() 如果不是200,产生异常requests.HTTPError

爬取网页通用代码

5.HTTP协议和requests库的主要方法
HTTP协议 超文本传输协议 是一个基于 "请求与响应"模式的、无状态的应用层协议.

HTTP协议采用URL作为定位网络资源的标识.
URL格式 http://host[:port][path]

host:合法的Internet主机或IP地址
port:端口号,缺省端口为80
path:请求资源的路径

HTTP URL的理解
URL是通过HTTP协议存取资源的Internet路径,一个URl对应一个数据资源.

HTTP协议对资源的操作
GET 请求回去URL的位置资源
HEAD 请求获取URL位置资源的响应消息报告,即获得该资源的头部信息
POST 请求向URL位置的资源后附加新的数据
PUT 请求向URL位置存储一个资源,覆盖原URL位置的资源
PATCH 请求局部更新URL位置的资源,即改变该处资源的部分内容
DELETE 请求删除URL位置存储资源.

HTTP和requests是对应的

6.Request主要方法进行解析
method:请求方式7种就是http所对应的功能
r=requests.request(‘GET’,url,**kwargs)
…
r=requests.request(‘OPTIONS’,url,**kwargs)

**requests.request(method,url,kwargs)
**kwargs:控制访问的参数,均为可选项 有13种
params:字典或字节序列,作为参数增加到url中.

**kwargs:控制访问的参数,均为可选项
data:字典、字节序列或文件对象,作为Request的内容

**kwargs:控制访问的参数,均为可选项
json:JSON格式的数据,作为Request的内容
headers:字典，HTTP定制头
cookied:字典或CookieJar,Request中的cookie
auth:元组,支持HTTP认证功能
files:字典类型,传输文件,向某个连接提交文件
timeout 设置请求时间,到时间返回错误信息
…

7.除了request函数之外还有其他6个函数
**requests.get(url,params=None,kwargs) 最常见使用
url:模拟获取页面url连接
params:url中的额外参数,字典或者字节流格式,可选
**kwargs:12个控制访问的参数

   ......

**requests.head(url,kwargs)
**ruquests.delete(url,kwargs)

总结
requests库对外的7个方法
requests.request() requests.put()
requests.get() requests.patch()
requests.head() requests.delete()
requests.post()