HTTP_Request_Randomizer 项目使用教程

HTTP_Request_Randomizer 项目使用教程

HTTP_Request_RandomizerProxying Python Requests项目地址:https://gitcode.com/gh_mirrors/ht/HTTP_Request_Randomizer

1. 项目的目录结构及介绍

HTTP_Request_Randomizer 项目的目录结构如下：

HTTP_Request_Randomizer/
├── README.md
├── setup.py
├── http_request_randomizer/
│   ├── __init__.py
│   ├── request_proxy.py
│   ├── proxy_providers/
│   │   ├── __init__.py
│   │   ├── base_provider.py
│   │   ├── proxy_for_eu.py
│   │   ├── free_proxy_list.py
│   │   ├── rebro_weebly.py
│   │   ├── samair_proxy.py
│   │   └── sslproxies.py
│   └── utils/
│       ├── __init__.py
│       └── user_agents.py
└── tests/
    ├── __init__.py
    └── test_request_proxy.py

目录结构介绍

• README.md: 项目的主文档，包含项目的介绍、安装方法和使用说明。
• setup.py: 项目的安装脚本，用于安装项目所需的依赖。
• http_request_randomizer/: 项目的主要代码目录。
  • init.py: 初始化文件，使该目录成为一个Python包。
  • request_proxy.py: 核心文件，包含生成随机代理请求的逻辑。
  • proxy_providers/: 包含不同代理提供者的实现。
    • init.py: 初始化文件。
    • base_provider.py: 基础代理提供者类，其他提供者类继承自该类。
    • proxy_for_eu.py: 代理提供者实现，用于获取 proxyfor.eu 的代理。
    • free_proxy_list.py: 代理提供者实现，用于获取 free-proxy-list.net 的代理。
    • rebro_weebly.py: 代理提供者实现，用于获取 rebro.weebly.com 的代理。
    • samair_proxy.py: 代理提供者实现，用于获取 samair.ru 的代理。
    • sslproxies.py: 代理提供者实现，用于获取 sslproxies.org 的代理。
  • utils/: 包含一些工具类和函数。
    • init.py: 初始化文件。
    • user_agents.py: 包含随机生成用户代理的逻辑。
• tests/: 包含项目的测试代码。
  • init.py: 初始化文件。
  • test_request_proxy.py: 测试 request_proxy.py 的测试文件。

2. 项目的启动文件介绍

项目的启动文件是 http_request_randomizer/request_proxy.py。该文件包含了生成随机代理请求的核心逻辑。

主要功能

• RequestProxy 类: 该类负责生成带有随机代理的HTTP请求。它从多个代理提供者中随机选择一个代理，并使用该代理发送HTTP请求。
• generate_proxied_request 方法: 该方法生成一个带有随机代理的HTTP请求，并返回请求结果。

使用示例

from http_request_randomizer.request_proxy import RequestProxy

req_proxy = RequestProxy()
test_url = 'http://example.com'

while True:
    start = time.time()
    request = req_proxy.generate_proxied_request(test_url)
    print("Proxied Request Took: [0] sec => Status: [1]".format((time.time() - start), request.__str__()))
    if request is not None:
        print("\t Response: ip=[0]".format(u''.join(request.text).encode('utf-8')))
    print("Proxy List Size: [0]".format(len(req_proxy.get_proxy_list())))
    print("-> Going to sleep...")
    time.sleep(10)

3. 项目的配置文件介绍

HTTP_Request_Randomizer 项目没有专门的配置文件，但可以通过代码中的参数进行配置。

配置参数

• log_level: 日志级别，可以通过 RequestProxy 构造函数中的 log_level 参数进行配置。默认值为 0（NOTSET）。可以使用 logging 模块中的常量（如 logging.DEBUG、logging.ERROR 等）来设置日志级别。

示例

from http_request_randomizer.request_proxy import RequestProxy
import logging

req_proxy = RequestProxy(log_level=logging.DEBUG)

通过这种方式，可以调整项目的日志输出级别，以便更好地调试和监控项目运行情况。

HTTP_Request_RandomizerProxying Python Requests项目地址:https://gitcode.com/gh_mirrors/ht/HTTP_Request_Randomizer