Python网络爬虫 urllib3 入门这篇就够了

最新推荐文章于 2024-05-16 02:28:52 发布
最新推荐文章于 2024-05-16 02:28:52 发布
阅读量1.4k 收藏 11
点赞数 7
文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_69183322/article/details/136069221
版权

一、认识网络爬虫

1.1 网络爬虫概述

网络爬虫是一种自动化程序，用于按照规则从互联网上抓取信息。它从指定网页开始，读取内容，发现链接，并依次抓取这些链接指向的网页，循环往复，直至抓取完指定网站的所有网页。爬虫常用于搜索引擎、数据挖掘、网站测试和优化等领域。使用爬虫时，需遵守网站的robots.txt协议和法律法规，避免对网站造成过大压力或侵犯他人权益。网络爬虫的出现，极大地提高了人们获取和处理网络信息的效率。

        

1.2 网络爬虫分类

网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：

  1. 通用网络爬虫（General Purpose Web Crawler）：又称全网爬虫，其爬行对象从一些种子URL扩充到整个Web，主要为门户站点搜索引擎和大型Web服务提供商采集数据。
  2. 聚焦网络爬虫（Focused Web Crawler）：也称主题网络爬虫，是指按照预先定义好的主题有选择地进行网页爬取，爬取特定的资源。
  3. 增量式网络爬虫（Incremental Web Crawler）：指对已下载网页采取增量式更新，只采集新产生的或者已经发生变化网页的爬虫。
  4. 深层网络爬虫（Deep Web Crawler）：即Deep Web爬虫，指对大部分内容不能通过静态链接获取，只有用户提交表单信息才能获取Web页面的爬虫。

1.3 网络爬虫的原理

网络爬虫的原理可以简单地概括为以下几个步骤：

  1. 发送请求：爬虫首先向目标网站发送请求，请求的内容包括要获取的网页地址（URL）。
  2. 接收响应：目标网站接收到请求后，会返回一个响应，这个响应的内容就是网页的HTML代码。
  3. 解析网页：爬虫接收到HTML代码后，需要对其进行解析，提取出需要的数据。解析网页的方式有多种，常见的有正则表达式、XPath、BeautifulSoup等。
  4. 存储数据：提取出的数据需要进行存储，以便后续的分析和处理。存储的方式也有多种，可以将数据保存在本地文件中，也可以保存到数据库中。
  5. 循环遍历：爬虫通常会根据网页中的链接，继续向其他网页发送请求，获取数据，直到满足一定的停止条件（比如达到指定的爬取数量、爬取到特定的网页等）。

二、请求模块urlib3

2.1 urllib3的概述

urllib3是一个功能强大且易于使用的Python HTTP库，主要用于发送HTTP请求和处理HTTP响应。它是urllib和urllib2的后续版本，设计用于支持HTTP 1.1标准，并提供了许多高级功能和选项，使得在Python中进行HTTP通信变得更加简单和灵活。

urllib3的主要功能和特点包括：

  1. 支持HTTP和HTTPS协议：urllib3支持HTTP和HTTPS协议的请求，可以方便地发送GET、POST、PUT、DELETE等各种类型的请求。

  2. 自动管理连接池：urllib3提供了高效的连接池管理功能，可以自动管理连接，提高性能和效率。连接池可以重用已经建立的连接，避免了为每个请求都创建新的连接的开销。

  3. 支持连接重用和连接超时设置：urllib3支持连接重用，可以在多个请求之间共享同一个连接。同时，它还支持连接超时设置，可以避免因为连接问题导致的程序挂起。

  4. 支持代理和证书的配置：urllib3支持配置代理服务器和SSL证书，可以方便地通过代理发送请求，并保证请求的安全性。

  5. 提供灵活的请求头和请求体定制：urllib3允许你自定义请求头和请求体，可以方便地设置请求的各种参数，如Content-Type、User-Agent等。

  6. 自动处理重定向和重试：urllib3可以自动处理HTTP重定向，并在遇到某些类型的错误时自动重试请求，提高了请求的可靠性。

  7. 具有良好的线程安全性和并发性：urllib3的连接池是线程安全的，可以在多线程环境中安全使用。同时，它也支持并发请求，可以同时发送多个请求，提高了程序的执行效率。

相比于其他HTTP库，urllib3的主要优势在于它的连接池管理和复用功能，以及对HTTPS请求的良好支持。这使得urllib3成为Python中进行HTTP通信的一个非常优秀的选择。

2.2 安装urllib3

pip install urllib3

2.3 发送网络请求

使用urllib3发送网络请求，首先需要创建PoolManager对象，通过调用request()方法实现网络请求的发送

2.3.1 GET请求

2.3.1.1 PoolManager对象向单个服务器发送请求

示例：

import urllib3

# 创建一个PoolManager实例
http = urllib3.PoolManager()

# 发送GET请求
url = 'http://example.com'
response = http.request('GET', url)

# 检查响应状态
if response.status == 200:
    # 读取响应内容
    print(response.data.decode('utf-8'))
else:
    print(f'请求失败，状态码：{response.status}')

2.3.1.2 PoolManager对象向多个服务器发送请求

示例：

import urllib3

# 创建一个PoolManager实例
http = urllib3.PoolManager()

# 定义多个URL
urls = [
    'http://example.com',
    'http://example.org',
    'http://example.net'
]

# 发送GET请求到每个URL
for url in urls:
    response = http.request('GET', url)

    # 检查响应状态
    if response.status == 200:
        # 读取并打印响应内容
        print(f"URL: {url}, Status: {response.status}, Content: {response.data.decode('utf-8')}")
    else:
        print(f"URL: {url}, Request failed with status: {response.status}")

    # 关闭连接池（可选，urllib3通常会自动管理）
http.clear()

  

2.3.2 Post请求

示例：

# 导入urllib3库  
import urllib3
#导入json模块来处理JSON数据
import json

# 创建一个PoolManager实例，用于管理连接池和处理HTTP请求  
http = urllib3.PoolManager()

# 定义请求的URL  
url = "https://www.httpbin.org/post"

# 定义要发送的数据，这里是一个字典，它将被转换为JSON格式  
data = {
    "name": "suixiang",
    "age": "20",
}

# 将字典数据转换为JSON格式的字符串  
data_json = json.dumps(data)

# 定义请求头，指定内容类型为JSON  
headers = {'Content-Type': 'application/json'}

# 发送POST请求，传入URL、请求头和数据  
# 注意：在urllib3中，发送请求时使用`fields`参数传递表单数据，但在这里我们使用`body`参数传递JSON数据  
response = http.request('POST', url, headers=headers, body=data_json)

# 检查响应状态码，如果是200，则打印响应内容；否则打印错误信息  
if response.status == 200:
    # 响应内容是字节类型，我们使用decode方法将其转换为字符串  
    print(response.data.decode('utf-8'))
else:
    # 打印错误信息和状态码  
    print(f"Error: {response.status} {response.reason}")

2.3.3 重新尝试请求

通过retries参数设置重试请求

示例：

import urllib3
from urllib3.util import Retry

# 定义重试策略  
retries = Retry(
    total=5,  # 总重试次数  
    backoff_factor=0.1,  # 退避因子，用于计算等待时间  
    status_forcelist=[500, 502, 503, 504]  # 在这些状态码下重试  
)

# 创建一个PoolManager实例并设置重试策略  
http = urllib3.PoolManager(retries=retries)

# 定义请求的URL（注意：尽管这是httpbin.org的POST端点，但您可以用GET方法请求它进行测试）  
url = "https://www.httpbin.org/get"


# 发送GET请求
response = http.request('GET', url)

# 检查响应状态码
if response.status == 200:
    # 如果状态码是200，则打印响应内容
    print(response.data.decode('utf-8'))
else:
    # 如果状态码不是200，则打印错误信息
    print(f"Request failed with status code {response.status}: {response.reason}")

2.3.4 处理响应内容

2.3.4.1获取响应头

示例：

import urllib3  # 导入urllib3库  
  
# 创建一个HTTP连接池管理器  
http = urllib3.PoolManager()  
  
# 设置目标URL，这里使用了httpbin.org的服务，一个常用于测试HTTP请求的在线服务  
url = 'http://www.httpbin.org/get'  
  
# 使用连接池管理器发送GET请求  
response = http.request('GET', url)  
  
# 获取响应头信息  
response_header = response.info()  
  
# 遍历响应头的键并打印键和对应的值  
for key in response_header.keys():  
    print(key, ':', response_header.get(key))

2.3.4.2 Json信息

示例：

import urllib3  # 导入urllib3库，用于发送HTTP请求  
import json     # 导入json库，用于处理JSON数据  
  
# 创建一个HTTP连接池管理器  
http = urllib3.PoolManager()  
  
# 设置目标URL，这里使用了httpbin.org的服务，一个常用于测试HTTP请求的在线服务  
url = 'http://www.httpbin.org/post'  
  
# 准备POST请求的参数  
params = {'name':'suixiang','age':'20'}  
  
# 使用连接池管理器发送POST请求，并带上参数  
response = http.request('POST', url, fields=params)  
  
# 将响应的数据从字节串解码为字符串，并将字符串解析为JSON对象  
json_data = json.loads(response.data.decode('utf-8'))  
  
# 打印出JSON对象中的'form'字段，该字段包含了POST请求的参数  
print(json_data.get('form'))

2.3.4.3  二进制信息

示例：

# 导入urllib3库，用于发送HTTP请求
import urllib3

# 创建一个HTTP连接池管理器，用于复用HTTP连接
http = urllib3.PoolManager()

# 设置目标URL，这里指向placehold.it提供的200x200像素PNG图片的URL
url = 'https://placehold.it/200x200.png'

# 使用连接池管理器发送GET请求到指定的URL
response = http.request('GET', url)

# 检查响应状态码，确保请求成功
if response.status == 200:
    # 打开一个文件用于写入，文件名为'200x200.png'，模式为二进制写入模式（'wb+'）
    # 注意：通常使用'wb'（二进制写入）就足够了，'b+'还允许读取，但在这里不是必需的
    file = open('200x200.png', 'wb+')

    # 将响应中的数据（图片内容）写入到文件中
    file.write(response.data)

    # 关闭文件，释放资源
    file.close()

    # 打印成功信息
    print("图片下载成功，并已保存到当前目录下的'200x200.png'文件中。")
else:
    # 如果响应状态码不是200，则打印错误信息
    print(f"请求失败，状态码为：{response.status}")

三、复杂请求发送

3.1 设置请求头

示例：

import urllib3

# 创建一个HTTP连接池对象
http = urllib3.PoolManager()

# 设置URL
url = 'https://www.httpbin.org/post'

# 设置请求头
headers = urllib3.util.make_headers(
    basic_auth='username:password',  # 如果需要基本认证，可以这样设置
    proxy_basic_auth='proxyuser:proxypass',  # 如果需要代理基本认证，可以这样设置
    accept_encoding=False,  # 禁用gzip, deflate等压缩
    user_agent='your-app/0.0.1',  # 设置用户代理
)

# 设置请求体（如果是POST或PUT请求）
body = '{"name": "suixiang", "age": "20"}'


response = http.request('POST', url, headers=headers, body=body)

# 检查响应状态码
if response.status == 200:
    # 请求成功，处理响应内容
    print(response.data.decode('utf-8'))  # 假设响应内容是UTF-8编码的文本
else:
    # 请求失败，处理错误
    print(f"Request failed with status code {response.status}")
    print(response.data.decode('utf-8'))  # 打印错误消息或其他响应内容

3.2 设置超时

在urllib3中，你可以通过timeout参数来设置请求的超时时间。timeout参数接受一个浮点数或一个urllib3.Timeout对象，用于指定连接超时和读取超时的时间。

示例：

import urllib3

# 创建一个HTTP连接池对象
http = urllib3.PoolManager()

# 设置URL
url = 'https://www.httpbin.org/post'

# 设置请求头
headers = {
    'Content-Type': 'application/json',
    'Custom-Header': 'CustomValue'
}

# 设置请求体（如果是POST或PUT请求）
body = '{"key1": "value1", "key2": "value2"}'

# 设置超时时间（单位：秒）
timeout = 10.0  # 这里设置10秒的超时时间

# 发送请求
response = http.request('POST', url, headers=headers, body=body, timeout=timeout)

# 检查响应状态码
if response.status == 200:
    # 请求成功，处理响应内容
    print(response.data.decode('utf-8'))
else:
    # 请求失败，处理错误
    print(f"Request failed with status code {response.status}")
    print(response.data.decode('utf-8'))

3.3 设置代理

proxy_url = 'http://your-proxy-host:your-proxy-port'  # 请替换成你的代理地址和端口


proxy_headers = urllib3.make_headers(proxy_basic_auth='your-proxy-username:your-proxy-password')  # 如果需要代理认证，请提供用户名和密码

示例：

import urllib3

# 创建带有代理的PoolManager
proxy_url = 'http://your-proxy-host:your-proxy-port'  # 请替换成你的代理地址和端口
proxy_headers = urllib3.make_headers(proxy_basic_auth='your-proxy-username:your-proxy-password')  # 如果需要代理认证，请提供用户名和密码
proxy_manager = urllib3.ProxyManager(proxy_url, headers=proxy_headers)

# 创建一个HTTP客户端
http = urllib3.PoolManager()

# 要请求的URL
url = 'https://www.httpbin.org/post'

# 准备POST请求的数据
post_fields = {'key1': 'value1', 'key2': 'value2'}  # 这是一个示例，您可以根据需要修改或添加字段

# 使用代理管理器发送POST请求
response = proxy_manager.request('POST', url, fields=post_fields)

# 打印响应内容
print(response.data.decode('utf-8'))

3.4 上传文件

3.4.1 上传文本文件

示例：

import urllib3
import json

# 创建一个连接池管理器实例
http = urllib3.PoolManager()

# 目标URL
url = 'https://www.httpbin.org/post'

# 打开文件并读取内容
with open('text.txt', 'r', encoding='utf-8') as file:
    data = file.read()

    # 设置请求头，指定内容类型为纯文本
    headers = {
        'Content-Type': 'text/plain',
    }

    # 发送带有请求体的POST请求
    response = http.request('POST', url, headers=headers, body=data)

# 将响应的二进制数据解码为UTF-8字符串，并加载为JSON对象
result = json.loads(response.data.decode('utf-8'))

# 打印出整个JSON响应对象
print(result)

3.4.2 上传照片文件

示例：

import urllib3
# 创建一个连接池管理器实例
http = urllib3.PoolManager()

# 目标URL
url = 'https://www.httpbin.org/post'

# 打开图片文件并读取内容
with open('200x200.png', 'rb') as file:
    data = file.read()

# 发送带有请求体的POST请求
response = http.request('POST', url,body=data)

# 打印响应内容
print(response.data.decode())

探索星辰大海
关注
  • 7
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python模块urllib3.zip
03-22
使用Python 3.x版本运行py文件时报错 No module named 'urllib3' 一开始参照网上的安装方法通过pip来安装，未成功pip install urllib3 后面找到了这个文件，分享给大家。 使用方法是下载解压后，cmd里切换到解压后的文件夹，输入python setup.py install就可以了
Python3爬虫学习入门教程
01-20
本文实例讲述了Python3爬虫相关入门知识。分享给大家供大家参考，具体如下： 在网上看到大多数爬虫教程都是Python2的，但Python3才是未来的趋势，许多初学者看了Python2的教程学Python3的话很难适应过来，毕竟Python...
python3 urllib及requests基本使用
12-17 2799
在python3中，urllib是请求url连接的标准库 1、urllib.request 　　request主要负责构建和发起网络请求 　　1）GET请求（不带参数） 　　　　response =urllib.request.urlopen(url,data=None,[timeout,]*) 　　　　返回的response是一个http.client.HTTPResponse ...
python urllib和urllib3包使用_urllib
最新发布
2401_84140428的博客
05-16 999
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。HTTPError是URLError的一个子类，服务器上HTTP的响应会返回一个状态码，根据这个HTTP状态码，我们可以知道我们的访问是否成功。
Python爬虫：使用Urllib3
Zijeak的博客
01-07 1152
一 、什么是爬虫 模拟客户端，访问网站服务器，爬虫从服务器响应给客户端的网页内容中解析有用信息并保存到本地。 二、爬虫执行的流程 （1）请求网页 （2）解析网页信息 （3）保存内容 三、Python爬虫所用到的库 1.请求网页的库 requests urllib3 selenium（模拟浏览器） 2.解析网页信息的库 re（正则表达式） BeautifulSoup:BS4 Xpath 3.保存内容...
python——urllib模块
热门推荐
08-28 2万+
1. 简述 这里说的urllib模块，是urllib*模块，包括了urllib、urllib2和urllib3等几个。urllib和urllib2都是属于python的基础库，类似于java中官方jdk提供的库，在http://docs.python.org/2/library/internet.html可以看到相关介绍，他们都属于Internet协议和相关支撑的模块部分；除了这两个，其实还有第
python3 urllib模块_Python3之urllib模块
weixin_39561179的博客
12-04 186
简介urllib是python的一个获取url(Uniform Resource Locators，统一资源定位符)，可以用来抓取远程的数据。常用方法(1)urlopenurllib.request.urlopen(url, data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)urllib.reque...
python3下 urllib常用模块
cp0328的博客
10-13 3495
————————————————————————————————————————————————— Urllib库是Python中的一个功能强大、用于操作，组装URL，并在做爬虫的时候经常要用到的库。在python3环境下，爬虫工作主要用到urllib.requset，urllib.error和urllib.parse。 ——————————————————————————————————————...
Python 网络爬虫开发 Python爬虫入门基础教程：Python的urllib2 模块解析 共6页.pptx
06-18
Python 网络爬虫开发基础教程：Python 的 urllib2 模块解析 Python 网络爬虫开发是指使用 Python 语言来开发网络爬虫程序，以便从互联网上抓取有价值的数据。Python 的 urllib2 模块是 Python 的一个标准库，提供了...
python网络爬虫练习题，学完就能入门python爬虫！
04-28
点亮python技能树上的网络爬虫章节。包含： 1.urllib 2.正则表达式 3.Beautiful Soup 4.lxml 5.requests 6.Selenium 7.Scrapy框架 8.pyspider框架的使用 9.验证码处理 10.动态渲染页面爬取 11.模拟登录 12....
python网络爬虫入门之request.Request
12-22
python网络爬虫入门之request.Request urllib.request.Request 作用 创建请求对象，重新构造User-Agent(使其更像是人类正常点击) 什么是User-Agent该如何设置 1.当我们向网站发送请求时所传递的信息见下图(也是反爬...
python爬虫之urllib3的使用示例
09-20
主要介绍了 python爬虫之urllib3的使用示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
python3.6.1 常见问题汇总(1)
u013628196的专栏
09-26 807
python升级到3+以后，import urllib2,不能在使用了，应该使用import urllib.request
python爬虫urllib3模块详解，2024吊打面试官系列
m0_56175058的博客
03-20 963
可通过获取响应头信息。import urllib3 # 导入urllib3模块urllib3.disable_warnings() # 关闭ssl警告url = ‘https://www.httpbin.org/get’ # get请求测试地址http = urllib3.PoolManager() # 创建连接池管理对象。
python第三方库之pymysql、urllib3
weixin_50464533的博客
02-02 169
python第三方库之pymysql、urllib3
python3.8.5依赖的urllib版本_python3中使用urllib进行https请求
weixin_42097967的博客
01-13 526
刚入门python学习网络爬虫基础，我使用的python版本是python3.6.4，学习的教程参考Python爬虫入门教程python3.6的版本已经没有urllib2这个库了，所以我也不需要纠结urllib和urllib2的区别和应用场景>>> import urllib2Traceback (most recent call last):File "", line 1, i...
python的urllib3库(http连接池PoolManager)
Aiky哇
09-27 1217
【代码】python的urllib3库(http连接池PoolManager)
python urllib3用法_python – urllib3使用指定的用户代理下载文件
weixin_39636540的博客
12-09 252
在urllib3中更新用户代理信息的正确方法是什么？如何检查用户代理信息是否确实已更改并正在使用？例如：user_agent = {'user-agent': 'Mozilla/5.0 (Windows NT 6.3; rv:36.0) Gecko/20100101 Firefox/36.0'}http = urllib3.PoolManager(10, headers=user_agent)r1...
python urllib urllib2 urllib3 用法 区别
whatday的专栏
12-15 1585
简介在可供使用的网络库中，urllib和urllib2可能是投入产出比最高的两个，是Python中操作url的官方标准库。它们让你能够通过网络访问文件，就像这些文件位于你的计算机中一样。只需一个简单的函数调用，就几乎可将统一资源定位符（URL）可指向的任何动作作为程序的输入。结合re模块使用将发挥强大威力！模块urllib和urllib2的功能差不多，简单来说urllib2是urllib的增强——urllib2更好一些，但是中有urllib2中所没有的函数。对于简单的下载，urllib绰绰有余。
Python网络爬虫入门：使用Urllib与Requests爬取Web页面
"《网络数据采集》第3章课件201911221，涵盖了Web页面爬取的基础知识，包括Python中的Urllib和Requests库的应用。" 网络爬虫是数据采集的重要手段，它能自动化地从互联网上获取大量信息。本章节主要讲述了如何使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值