【100天精通Python】Day43：Python网络爬虫开发_爬虫基础（urlib库、Beautiful Soup库、使用代理+实战代码）

目录

1 urlib 库

2 Beautiful Soup库

3 使用代理

3.1 代理种类 HTTP、HTTPS 和 SOCKS5

3.2 使用 urllib 和 requests 库使用代理

3.3 案例：自建代理池

4 实战 提取视频信息并进行分析

---

1 urlib 库

   urllib 是 Python 内置的标准库，用于处理URL、发送HTTP请求和处理网络数据。它包含多个模块，如 urllib.request 用于发送请求，urllib.parse 用于解析URL，urllib.error 用于处理异常等。

• urllib.request：用于发送 HTTP 请求和获取响应。
• urllib.parse：用于解析 URL，拆分和合并 URL 的各个部分。
• urllib.error：处理异常，如连接错误、HTTP 错误等。

常用语法：

1. 发送GET请求：

import urllib.request

url = "https://www.example.com"
response = urllib.request