Demiurge 项目教程-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00025/article/details/139258259

Demiurge 项目教程

demiurge PyQuery-based scraping micro-framework. 项目地址: https://gitcode.com/gh_mirrors/de/demiurge

1. 项目目录结构及介绍

Demiurge 项目的目录结构如下：

demiurge/
├── demiurge/
│   ├── __init__.py
│   ├── ...
├── docs/
│   ├── ...
├── tests/
│   ├── ...
├── .gitignore
├── .travis.yml
├── LICENSE
├── MANIFEST.in
├── README.md
├── requirements.txt
├── run_tests.sh
├── setup.py

目录结构介绍

demiurge/: 项目的主代码目录，包含核心功能的实现。
- __init__.py: 初始化文件，用于定义包的初始化逻辑。
- ...: 其他 Python 文件，包含项目的核心功能代码。
docs/: 项目文档目录，包含项目的详细文档和使用说明。
tests/: 测试代码目录，包含项目的单元测试和集成测试代码。
.gitignore: Git 忽略文件，定义了哪些文件或目录不需要被 Git 追踪。
.travis.yml: Travis CI 配置文件，用于定义项目的持续集成配置。
LICENSE: 项目许可证文件，定义了项目的开源许可证。
MANIFEST.in: 清单文件，定义了哪些文件需要包含在发布包中。
README.md: 项目说明文件，包含项目的简介、安装方法、使用说明等。
requirements.txt: 项目依赖文件，列出了项目运行所需的 Python 包。
run_tests.sh: 运行测试的脚本文件。
setup.py: 项目安装脚本，用于定义项目的安装配置。

2. 项目启动文件介绍

Demiurge 项目的启动文件是 setup.py。该文件用于定义项目的安装配置，包括项目的元数据、依赖项、安装脚本等。

`setup.py` 文件内容示例

from setuptools import setup, find_packages

setup(
    name='demiurge',
    version='0.2',
    packages=find_packages(),
    install_requires=[
        'pyquery',
        # 其他依赖项
    ],
    entry_points={
        'console_scripts': [
            'demiurge=demiurge.cli:main',
        ],
    },
    # 其他配置项
)

启动方式

通过运行以下命令来启动项目：

python setup.py install

3. 项目的配置文件介绍

Demiurge 项目没有明确的配置文件，但可以通过环境变量或命令行参数来配置项目的运行参数。

配置示例

假设你需要配置项目的 URL 和选择器，可以通过以下方式进行配置：

import demiurge

class Torrent(demiurge.Item):
    url = demiurge.AttributeValueField(
        selector='td:eq(2) a:eq(1)',
        attr='href'
    )
    name = demiurge.TextField(selector='td:eq(2) a:eq(2)')
    size = demiurge.TextField(selector='td:eq(3)')
    details = demiurge.RelatedItem(
        TorrentDetails,
        selector='td:eq(2) a:eq(2)',
        attr='href'
    )

    class Meta:
        selector = 'table.maintable:gt(0) tr:gt(0)'
        base_url = 'http://www.mininova.org'