Scrapy-Splash 项目教程

郭蔷意Ward

于 2024-08-10 08:39:58 发布

阅读量304

点赞数 3

本文链接：https://blog.csdn.net/gitblog_00564/article/details/141084770

版权

Scrapy-Splash 项目教程

scrapy-splashScrapy+Splash for JavaScript integration项目地址:https://gitcode.com/gh_mirrors/sc/scrapy-splash

1. 项目的目录结构及介绍

Scrapy-Splash 项目的目录结构如下：

scrapy-splash/
├── scrapy_splash/
│   ├── __init__.py
│   ├── dupefilter.py
│   ├── middleware.py
│   ├── request.py
│   ├── response.py
│   ├── __pycache__/
│   └── utils.py
├── tests/
│   ├── __init__.py
│   ├── test_dupefilter.py
│   ├── test_middleware.py
│   ├── test_request.py
│   ├── test_response.py
│   └── test_utils.py
├── .gitignore
├── LICENSE
├── README.md
├── requirements.txt
└── setup.py

目录结构介绍

scrapy_splash/: 包含 Scrapy-Splash 的核心代码文件。
- __init__.py: 初始化文件。
- dupefilter.py: 去重过滤器。
- middleware.py: 中间件。
- request.py: 请求处理。
- response.py: 响应处理。
- utils.py: 工具函数。
tests/: 包含测试文件。
- __init__.py: 初始化文件。
- test_dupefilter.py: 去重过滤器测试。
- test_middleware.py: 中间件测试。
- test_request.py: 请求处理测试。
- test_response.py: 响应处理测试。
- test_utils.py: 工具函数测试。
.gitignore: Git 忽略文件。
LICENSE: 许可证文件。
README.md: 项目说明文档。
requirements.txt: 依赖包列表。
setup.py: 安装脚本。

2. 项目的启动文件介绍

Scrapy-Splash 项目的启动文件主要是 setup.py。该文件用于安装 Scrapy-Splash 库。

setup.py 文件介绍

setup.py 文件内容如下：

from setuptools import setup, find_packages

setup(
    name='scrapy-splash',
    version='0.7.2',
    description='Scrapy+Splash for JavaScript integration',
    long_description=open('README.md').read(),
    long_description_content_type='text/markdown',
    author='Scrapinghub',
    author_email='info@scrapinghub.com',
    url='https://github.com/scrapy-plugins/scrapy-splash',
    license='BSD',
    packages=find_packages(exclude=['tests']),
    install_requires=[
        'scrapy>=1.0',
        'Twisted>=16.0',
        'requests>=2.17',
    ],
    classifiers=[
        'Development Status :: 5 - Production/Stable',
        'License :: OSI Approved :: BSD License',
        'Intended Audience :: Developers',
        'Operating System :: OS Independent',
        'Programming Language :: Python',
        'Programming Language :: Python :: 2',
        'Programming Language :: Python :: 2.7',
        'Programming Language :: Python :: 3',
        'Programming Language :: Python :: 3.4',
        'Programming Language :: Python :: 3.5',
        'Programming Language :: Python :: 3.6',
        'Programming Language :: Python :: 3.7',
        'Programming Language :: Python :: 3.8',
        'Programming Language :: Python :: 3.9',
        'Framework :: Scrapy',
        'Topic :: Internet :: WWW/HTTP',
        'Topic :: Software Development :: Libraries :: Python Modules',
    ],
)