python的requests库理解_python 之Requests库学习笔记

1.    Requests库安装

Windows平台安装说明：

直接以管理员身份打开cmd运行界面，使用pip管理工具进行requests库的安装。

具体安装命令如下：

>pip install pip

2.    Requests库安装验证

Requests库安装完成后，验证安装是否成功。直接在python IDLE GUI环境下导入requests库，并简单使用requests.get(url)测试。

测试命令如下：

>>>import requests>>>r = requests.get(“http://www.baidu.com”)

>>>r>>>r.status_code>>>r.text>>>r.encode

3.    HTTP协议

HTTP是一个机遇“请求”与“响应”模式的、无状态的应用层协议，起采用URL作为定位网络资源的表示，具体的URL格式见以下内容。

3.1.      URL标准格式

http://host:[:port][path]

host：合法的Internet主机域名或IP地址

port：端口号，缺省端口为80

path：请求资源的路径

3.2.      HTTP URL实例

http://www.baidu.com

http://123.234.123.234/study

3.3.      HTTP URL的理解

URL是通过HTTP协议来存取资源的Internet路径，一个URL对应一个数据资源。

3.4.      HTTP协议资源的操作方法

4.    Requests库7中方法

5.    Requests库2个重要对象

我们首先导入requests库，然后尝试获取http://www.baidu.com网页。

>>>import requests>>>r = requests.get(“http://www.baidu.com”)

上面这个使用requests库get方法抓取网页的过程，就产生了requests库的2个重要对象，具体对象说明如下。

r就是“Response响应对象”，而requests.get()就是“Request请求对象”。其中Response对象包含服务返回的所有信息，同时也包含request请求信息内容。

5.1.      Response对象

Response对象包含了服务返回的所有信息内容，我们通多response这个对象可以获取任何我们想要获取的信息。

同时Response对象也包含 的request信息内容，如下图所示，通过r.request.headers我们就是可以获取request请求头的信息内容。

5.2.      Response对象的属性

以下列表中，罗列出来了Response对象的几个常用属性。

5.3.      理解Response编码

r.encoding:如果header中不存在charset，则默认编码方式为ISO-8859-1。

注：r.text默认是根据r.encoding的编码方式来显示网页的内容。

r.apparent_encoding：根据网页内容分析出编码的方式，可以看作是r.encoding的备选。

6.    爬取网页通用代码框架

6.1.      理解requests库异常

r = requests.get(url) 进行网络资源获取的时候，可能会出现这样或者那样的异常请，我们需要有个稳定的处理框架来处理各种请求异常，以保证代码程序处理的稳定性。

首先，我们学习和了解以下requests库的异常处理7中方式，具体内容如下。

6.2.      通用代码框架