使用 Python 和 requests 库收集成功的 User-Agent 头部信息-CSDN博客

本文链接：https://blog.csdn.net/m0_74972192/article/details/140896565

在 Web 开发和网络爬虫领域，了解和使用 User-Agent 是非常重要的一部分。User-Agent 是在 HTTP 请求头中用于标识客户端的软件和版本的信息。在本文中，我们将介绍如何使用 Python 的 requests 库和 fake_useragent 包，收集在向目标 URL 发送请求时成功的 User-Agent 头部信息。

目标

我们将创建一个 Python 脚本，通过向一个示例 URL 发送多次 HTTP 请求，收集成功的 User-Agent 头部信息，并将这些信息保存到一个文本文件中。

环境设置

首先，确保你的环境中安装了必要的库。你可以使用以下命令安装 requests 和 fake_useragent 库：

复制代码

pip install requests fake-useragent

实现步骤

1. 导入必要的库

在我们的脚本中，我们需要导入 requests 和 fake_useragent 库。

import requests
from fake_useragent import UserAgent

2. 设置目标 URL 和 User-Agent 实例

我们需要指定目标 URL，并创建一个 UserAgent 实例，用于生成随机的 User-Agent 字符串。

# 目标 URL
url = "http://example.com"

# 生成 User-Agent 的实例
ua = UserAgent()

# 成功请求的 User-Agent 头部信息集合
successful_headers = set()

3. 定义请求和收集函数

我们定义一个函数 fetch_and_save_headers，用于向目标 URL 发送请求，并收集成功的 User-Agent 头部信息。

def fetch_and_save_headers(url, ua, successful_headers):
    for _ in range(100):  # 生成 100 个请求
        # 随机选择一个 User-Agent
        headers = {
            "User-Agent": ua.random
        }

        # 发送 GET 请求
        try:
            response = requests.get(url, headers=headers)
            if response.status_code == 200:
                successful_headers.add(headers["User-Agent"])
                print(f"成功请求: {headers}")
                print(f"状态码: {response.status_code}")
                print('-' * 40)
        except requests.RequestException as e:
            print(f"请求异常: {e}")

4. 执行脚本并保存结果

在 __main__ 块中执行请求，并将成功的 User-Agent 信息写入 headers.txt 文件。

if __name__ == "__main__":
    # 执行请求并收集成功的 User-Agent
    fetch_and_save_headers(url, ua, successful_headers)

    # 将成功的 User-Agent 头部信息写入 headers.txt
    with open("headers.txt", "w") as f:
        for user_agent in successful_headers:
            f.write(f"{user_agent}\n")

    # 打印成功写入的 User-Agent 信息
    print("成功请求的 User-Agent 已写入 headers.txt")
    print(f"成功写入的 User-Agent 数量: {len(successful_headers)}")
    print("内容示例：")
    for user_agent in successful_headers:
        print(user_agent)

完整代码

import requests
from fake_useragent import UserAgent

# 目标 URL
url = "http://example.com"

# 生成 User-Agent 的实例
ua = UserAgent()

# 成功请求的 User-Agent 头部信息集合
successful_headers = set()

def fetch_and_save_headers(url, ua, successful_headers):
    for _ in range(100):  # 生成 100 个请求
        # 随机选择一个 User-Agent
        headers = {
            "User-Agent": ua.random
        }

        # 发送 GET 请求
        try:
            response = requests.get(url, headers=headers)
            if response.status_code == 200:
                successful_headers.add(headers["User-Agent"])
                print(f"成功请求: {headers}")
                print(f"状态码: {response.status_code}")
                print('-' * 40)
        except requests.RequestException as e:
            print(f"请求异常: {e}")

if __name__ == "__main__":
    # 执行请求并收集成功的 User-Agent
    fetch_and_save_headers(url, ua, successful_headers)

    # 将成功的 User-Agent 头部信息写入 headers.txt
    with open("headers.txt", "w") as f:
        for user_agent in successful_headers:
            f.write(f"{user_agent}\n")

    # 打印成功写入的 User-Agent 信息
    print("成功请求的 User-Agent 已写入 headers.txt")
    print(f"成功写入的 User-Agent 数量: {len(successful_headers)}")
    print("内容示例：")
    for user_agent in successful_headers:
        print(user_agent)

代码解析

目标 URL：我们将向 http://example.com 发送请求。
生成 User-Agent 实例：UserAgent 类用于生成随机的 User-Agent 字符串。
定义请求和收集函数：fetch_and_save_headers 函数中，我们循环生成 100 个请求，每次请求使用一个随机的 User-Agent。如果请求成功（状态码为 200），我们将该 User-Agent 添加到集合中。
执行脚本并保存结果：在主程序块中，我们调用 fetch_and_save_headers 函数，并将成功的 User-Agent 信息写入 headers.txt 文件。