Scrapy-Zyte-SmartProxy 项目教程

Scrapy-Zyte-SmartProxy 项目教程

scrapy-zyte-smartproxyZyte Smart Proxy Manager (formerly Crawlera) middleware for Scrapy项目地址:https://gitcode.com/gh_mirrors/sc/scrapy-zyte-smartproxy

1. 项目的目录结构及介绍

scrapy-zyte-smartproxy/
├── docs/
│   ├── conf.py
│   ├── index.rst
│   └── ...
├── scrapy_zyte_smartproxy/
│   ├── __init__.py
│   ├── middleware.py
│   └── ...
├── tests/
│   ├── __init__.py
│   ├── test_middleware.py
│   └── ...
├── .gitignore
├── LICENSE
├── README.md
├── requirements.txt
└── setup.py

• docs/: 包含项目的文档文件，如 conf.py 和 index.rst 等。
• scrapy_zyte_smartproxy/: 核心代码目录，包含中间件的实现文件 middleware.py 等。
• tests/: 包含项目的测试文件，如 test_middleware.py 等。
• .gitignore: Git 忽略文件配置。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文档。
• requirements.txt: 项目依赖文件。
• setup.py: 项目安装脚本。

2. 项目的启动文件介绍

项目的启动文件主要是 setup.py，它负责项目的安装和分发。通过运行 python setup.py install 可以安装项目到本地环境中。

3. 项目的配置文件介绍

项目的配置文件主要涉及 Scrapy 项目的设置文件 settings.py，需要在其中添加以下配置以启用 Zyte Smart Proxy Manager 中间件：

DOWNLOADER_MIDDLEWARES = {
    'scrapy_zyte_smartproxy.ZyteSmartProxyMiddleware': 610,
}

ZYTE_SMARTPROXY_ENABLED = True
ZYTE_SMARTPROXY_APIKEY = '<API key>'

• DOWNLOADER_MIDDLEWARES: 配置下载中间件，启用 Zyte Smart Proxy Manager 中间件。
• ZYTE_SMARTPROXY_ENABLED: 启用 Zyte Smart Proxy Manager。
• ZYTE_SMARTPROXY_APIKEY: 设置 API 密钥。

以上配置完成后，项目即可使用 Zyte Smart Proxy Manager 进行代理抓取。

scrapy-zyte-smartproxyZyte Smart Proxy Manager (formerly Crawlera) middleware for Scrapy项目地址:https://gitcode.com/gh_mirrors/sc/scrapy-zyte-smartproxy