在 Django 中设计爬虫系统的数据模型与多对多关系

最新推荐文章于 2024-06-13 11:05:15 发布

互联网架构小马

最新推荐文章于 2024-06-13 11:05:15 发布

阅读量569

点赞数 2

文章标签： django 爬虫 sqlite

本文链接：https://blog.csdn.net/weixin_48612224/article/details/139147650

版权

在构建爬虫系统时，设计合理的数据模型和多对多关系对系统的性能和可维护性至关重要。本文将探讨如何使用 Django 来设计爬虫系统的数据模型。

1. 数据模型设计

在设计爬虫系统的数据模型时，我们需要考虑以下关键因素：

用户信息：包括用户的基本信息和角色。
爬虫任务：描述爬虫任务的相关信息，如任务名称、起始 URL、采集状态等。
爬虫结果：爬虫任务采集到的商品信息。

2. 多对多关系的放置

在爬虫系统中，任务与商品之间存在多对多的关系，因为一个任务可能涉及多个商品，而一个商品也可能属于多个任务。在 Django 中，可以使用 ManyToManyField 来表示这种关系。

我们将多对多关系放置在爬虫任务表 SpiderTask 中，而不是爬虫结果表 SpiderProduct 中，基于以下考虑：

自然语言描述：任务与商品之间的关系更自然地描述为“一个任务包含多个商品”。
业务逻辑：任务是对商品的操作和管理，这种操作和管理的关系更适合在任务表中体现。
数据结构：在任务表中管理多对多关系可以更方便地查询任务关联的商品，使代码更直观和易于理解。

3. 示例代码

# Django models.py

from django.db import models
from django.utils import timezone
from myapp.models.model_account import User

class SpiderTask(models.Model):
    """爬虫任务表"""
    PLATFORM_CHOICES = (
        (1, 'Amazon'),
        (2, 'Etsy'),
        (3, 'Temu'),
        (4, 'WalMart')
    )
    STATUS_CHOICES = (
        (0, '进行中'),
        (1, '已完成'),
        (2, '异常'),
    )
    TYPE_CHOICES = (
        (1, '列表页'),
        (2, '详情页'),
    )

    id = models.AutoField(primary_key=True, verbose_name='自增id')
    user = models.ForeignKey(User, on_delete=models.CASCADE, verbose_name='用户')
    platform = models.IntegerField(default=1, choices=PLATFORM_CHOICES, verbose_name='平台')
    name = models.CharField(verbose_name="爬虫名称", max_length=255)
    start_url = models.URLField(verbose_name="起始url", max_length=500, null=False)
    spider_type = models.IntegerField(choices=TYPE_CHOICES, default=1, verbose_name='采集页面类型')
    description = models.TextField(verbose_name="描述备注等", max_length=500, null=True, blank=True)
    completed = models.IntegerField(choices=STATUS_CHOICES, default=0, verbose_name='完成状态')
    created_at = models.DateTimeField(default=timezone.now, verbose_name='加入任务时间')
    collection_status = models.IntegerField(choices=STATUS_CHOICES, default=0, verbose_name='采集状态')
    completed_at = models.DateTimeField(null=True, blank=True, verbose_name='完成时间')

    products = models.ManyToManyField('SpiderProduct', verbose_name='关联商品', related_name='tasks')

    class Meta:
        verbose_name = '爬虫任务'
        verbose_name_plural = '爬虫任务'
        unique_together = [['user', 'start_url']]

    def __str__(self):
        return f"{self.platform} - {self.name}"


class SpiderProduct(models.Model):
    """爬虫结果表"""
    # 省略字段定义...

    class Meta:
        verbose_name = '爬虫结果'
        verbose_name_plural = '爬虫结果'

    def __str__(self):
        return self.title