Python爬虫之Requests库入门

一、Requests库的安装

以管理员身份打开cmd，键入

pip install requests

（上图表示 我的电脑已安装requests）

安装完成后可以打开IDLE测试一下：

上图代码表示请求www.baidu.com 的主页，ststus_code表示返回的状态码，200表示成功。

二、Requests库的7个主要方法

方法	说明
requests.request()	构造一个请求，支撑以下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

这七个方法对应http中的其中操作：

方法	说明
GET	请求获取URL位置的资源
HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

首先来介绍最常用的get方法

 

r = requests.get(url)

#r是接受get方法返回的包含服务器资源的Response对象

#传入的参数则用来构造一个向服务器请求资源的Request对象

get方法涉及两个对象，其一是Response对象，另一个是Request对象，先来介绍Response对象

 

Response对象的属性：

属性	说明
r.tatus_code	HTTP请求的返回状态，200表示连接成功，404或其他表示失败	判断是否成功get
r.text	HTTP响应内容的字符串形式，即，url对应的页面内容	可能因某些错误产生异常。
r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）
r.content	HTTP响应内容的二进制形式

理解Response的编码：

r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）

r.encoding：如果header中不存在charset，则认为编码为ISO‐8859‐1

                    r.text根据r.encoding显示网页内容

r.apparent_encoding：根据网页内容分析出的编码方式

                                    可以看作是r.encoding的备选

从执行get到得到页面可能产生的异常：

request.get()可能产生的异常

异常	说明
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常

r.raise_for_status() 用于检测r.status_code是否为200，如果不是200，产生异常requests.HTTPError

理解PATCH和PUT的区别

假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段

需求：用户修改了UserName，其他不变

• 采用PATCH，仅向URL提交UserName的局部更新请求

• 采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除

PATCH的最主要好处：节省网络带宽

Requests库的head()方法

得到请求资源的头部信息

Requests库的post()方法

 

 

Requests库的put()方法

request中的访问控制参数（均为可选，常用的有headers）