Scrapy-django将爬好的数据直接存入django模型中

最新推荐文章于 2024-11-12 10:18:51 发布

libbyandhelen

最新推荐文章于 2024-11-12 10:18:51 发布

阅读量5.2k

点赞数 1

分类专栏：其他文章标签： django scrapy-爬虫

本文链接：https://blog.csdn.net/libbyandhelen/article/details/78986389

版权

本文介绍了如何将Scrapy爬取的数据直接存入Django的模型中。首先，搭建Django项目，创建模型并进行相关配置。接着，创建Scrapy项目，安装scrapy-djangoitem库，定义DjangoItem，并实现从ScrapyItem到Django模型的转换。通过这种方法，爬取的数据可以直接保存到数据库，同时提供了不保存到数据库的选择。

摘要由CSDN通过智能技术生成

项目整体结构：

├── django+scrapy
│   ├── example_bot
│   │   ├── __init__.py
│   │   ├── items.py
│   │   ├── pipelines.py
│   │   ├── settings.py
│   │   └── spiders
│   │       ├── __init__.py
│   │       └── example.py 
│   └── scrapy.cfg
└── example_project
    ├── manage.py
    ├── myapp
    │   ├── __init__.py
    │   ├── models.py
    │   ├── admin.py
    │   └── views.py
    └── example_project
        ├── __init__