关于python爬虫模块urllib库详解

urllib库是Python中一个用于处理URL和HTTP请求的库，它是Python标准库的一部分，无需额外安装。该库提供了许多函数和类，用于简化网络请求的操作，让开发者能够更加方便地发送HTTP请求和处理响应。

urllib库可以用于处理各种类型的URL，包括HTTP、HTTPS、FTP、SMTP等协议，可以进行GET、POST等请求方式，还可以设置请求头、处理Cookies等。该库的主要模块包括：

1. urllib.request：用于发起网络请求。

2. urllib.parse：用于解析URL。

3. urllib.error：用于处理request引起的异常。

4. urllib.robotparser：用于解析robots.txt文件，应用较少。

urllib.request模块是urllib库中最常用的模块之一，它提供了多种函数和类，用于发送HTTP请求和处理响应。其中最常用的函数是urlopen()函数，它用于打开并读取指定URL的响应内容。此外，该模块还提供了其他函数，如urlretrieve()函数用于下载整个URL的内容，以及一些类，如Request对象用于构造HTTP请求。

urllib.parse模块是用于解析URL的模块，它提供了多种函数和类，用于将URL分解为各个组成部分，还可以将相对URL转换为绝对URL。该模块中的一些常用函数包括urlencode()函数用于对参数进行编码，以及urlparse()函数用于解析URL并返回一个ParseResult对象，该对象包含URL的各个组成部分。

urllib库还提供了异常处理机制，开发者可以使用urllib.error模块中的异常类来处理网络请求引起的异常。这些异常类包括URLError、HTTPError等，用于处理不同的异常情况。

urllib库中的**urlopen()**方法是用于发送HTTP请求并获取响应的常用函数。这个函数使用指定的请求方法（如GET或POST）打开给定的URL，并返回响应对象。

以下是urlopen()方法的语法：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

参数说明：

• url：要发送请求的URL。

• data：可选参数，要发送的数据。通常用于POST请求。

• timeout：可选参数，指定请求超时时间。默认为None，表示无限等待。

• cafile和capath：可选参数，用于指定CA证书文件和证书路径。通常用于进行HTTPS请求时的证书验证。

• cadefault：可选参数，如果为True，则使用默认的CA证书。默认为False。

• context：可选参数，SSL上下文对象。用于进行SSL连接的相关设置。

下面是一个使用urlopen()方法发送GET请求的示例：

import urllib.request

url = 'https://www.example.com'  
response = urllib.request.urlopen(url)
content = response.read()
print(content)

在上面的示例中，我们使用urlopen()方法发送了一个GET请求到"https://www.example.com"，并读取了响应的内容。

除了GET请求，urlopen()方法还支持POST、PUT、DELETE等其他HTTP请求方法。如果需要发送POST请求，可以将请求数据作为data参数传递给urlopen()方法，如下所示：

import urllib.request
import urllib.parse

url = 'https://www.example.com/login'  
data = {'username': 'myusername', 'password': 'mypassword'}
data = urllib.parse.urlencode(data).encode('utf-8')  # 将字典编码为UTF-8字节流  
response = urllib.request.urlopen(url, data=data)
content = response.read()
print(content)

设置请求头

在urllib库中，设置请求头可以通过创建一个Request对象来实现，然后在这个对象中指定headers属性。

下面是一个例子：

from urllib.request import urlopen, Request

url = 'https://www.example.com'  
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' }

req = Request(url, headers=headers)
response = urlopen(req)
data = response.read()
print(data)

在这个例子中，我们创建了一个Request对象，然后指定了请求头headers。这个headers字典包含了一系列的键值对，每个键值对代表一个HTTP头部字段和它的值。在这个例子中，我们设置了一个User-Agent头部字段，它的值是一个常见的浏览器User-Agent字符串。

然后，我们把这个Request对象传递给urlopen函数，这个函数会使用这个请求对象来发送HTTP请求。

注意：如果你需要在POST请求中包含数据，你可以在Request对象的构造函数中传递一个包含数据的data参数，像这样：

from urllib.request import urlopen, Request

url = 'https://www.example.com'  
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' }
data = {'key1': 'value1', 'key2': 'value2'}  # 数据  
data = urllib.parse.urlencode(data).encode('utf-8')  # 将字典编码为UTF-8字节流  

req = Request(url, headers=headers, data=data)
response = urlopen(req)
data = response.read()
print(data)

Cookies的获取与设置

Cookies是一种存储在用户计算机上的小型数据片段，通常用于在用户与网站之间保持状态。Cookies的获取和设置通常涉及以下步骤：

获取Cookies：

1. 当用户访问网站时，服务器会在响应中包含一个Set-Cookie头字段，其中包含有关Cookie的信息。

2. 浏览器接收到Set-Cookie头字段后，会将其存储在本地，并将其与后续的请求一起发送到服务器。

3. 浏览器可以将Cookie存储在本地，也可以将其存储在内存中，具体取决于浏览器的设置。

设置Cookies：

1. 当用户访问网站时，服务器可以使用HTTP响应头中的Set-Cookie字段来设置Cookie。

2. Set-Cookie头字段包含有关Cookie的属性和值，例如名称、值、有效期等。

3. 服务器可以使用不同的指令来设置Cookie的属性和值，例如Expires、Max-Age、Path等。

4. 服务器还可以使用Cookie的Secure和HttpOnly属性来限制Cookie的使用方式，例如仅通过HTTPS协议传输或仅通过JavaScript访问。

需要注意的是，获取和设置Cookies需要遵循相关的安全性和隐私保护规定，例如不要在Cookie中存储敏感信息，使用安全的HTTPS协议传输Cookie等。

感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

若有侵权，请联系删除