零基础学习pythonrequests_requests库初体验

和urllib库相比，requests库更加深得人心，它不仅能够重复地读取返回的数据，而且还能自动确定响应内容的编码。为了能让大家直观地看到这些变化，接下来，分别使用urllib库和requests库爬取百度网站中“传智播客”关键字的搜索结果网页。

（1）使用urllib库以GET请求的方式爬取网页，具体代码如下：

# 导入请求和解析模块

import urllib.request

import urllib.parse

# 请求的URL路径和查询参数

url = "http://www.baidu.com/s"

word = {"wd":"传智播客"}

# 转换成url编码格式（字符串）

word = urllib.parse.urlencode(word)

# 拼接完整的URL路径

new_url = url + "?" + word

# 请求报头

headers ={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)

AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}

# 根据URL和headers构建请求

request = urllib.request.Request(new_url, headers = headers)

# 发送请求，并接收服务器返回的文件对象

response = urllib.request.urlopen(request)

# 使用read方法读取获取到的网页内容，使用UTF-8格式进行解码

html = response.read().decode('UTF-8')

print(html)

（2）使用requests库以GET请求的方式爬取网页，具体代码如下：

# 导入requests库

import requests

# 请求的URL路径和查询参数

url = "http://www.baidu.com/s"

param = {"wd": "传智播客"}

# 请求报头

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)

AppleWebKit/537.36 (KHTML, like Gecko)

Chrome/51.0.2704.103 Safari/537.36"

}

# 发送GET请求，返回一个响应对象

response = requests.get(url, params=param, headers=headers)

# 查看响应的内容

print(response.text)

比较上述两段代码不难发现，使用requests库减少了发送请求的代码量。接下来，我们再从细节上体会一下requests库的便捷之处，具体如下：

无须再转换为URL路径编码格式，拼接完整的URL路径。

无须再频繁地为中文转换编码格式。

从发送请求的函数名称，可以很直观地判断发送到服务器的方式。

另外，urlopen方法返回的是一个文件对象，需要调用read()方法一次性读取；而get函数返回的是一个响应对象，可以访问该对象的text属性查看响应的内容。

这里虽然只初步介绍了requests库的用法，但是我们也可以从中看出，整个程序的逻辑非常易于理解，更符合面向对象开发的思想，并且减少了代码量，提高了开发效率，给开发人员带来了便利。