Scrapy 框架实践爬虫--实践篇二

最新推荐文章于 2024-11-13 17:24:18 发布

zln_mentu

最新推荐文章于 2024-11-13 17:24:18 发布

阅读量215

点赞数

分类专栏： python 文章标签： python 爬虫 scrapy

本文链接：https://blog.csdn.net/qq_22954451/article/details/79381014

版权

本文是Scrapy框架实践爬虫的第二部分，主要讲解如何将爬取的数据转化为对象并存储到MySQL数据库中。首先创建Item定义数据结构，然后利用pipeline处理数据，通过pymsql库连接MySQL，建立数据表，并编写数据库操作类，实现数据插入和检查。最后，在settings文件中配置启用的pipelines。

摘要由CSDN通过智能技术生成

Scrapy 框架实践爬虫–实践篇二

在之前从网页解析出了我们想要的数据详情请看 Scrapy 框架实践爬虫–实践篇, 趁热打铁 , 接下来就是将数据储存在本地数据库中。

1.将数据转化为对象进行储存

前面提到过 , 在 Scrapy 中通过 pipeline 进行储存。当然现在还没有创建存储的类 , 所以在操作 pipeline 之前 , 先创建一个 item。

class DscrapyItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 小说名称
    name = scrapy.Field()
    # 小说链接
    url = scrapy.Field()
    # 小说id
    number = scrapy.Field()
    # 小说类型
    category = scrapy.Field()
    # 作者
    author = scrapy.Field()
    # 小说状态
    status = scrapy.Field()
    # 收藏数
    collect = scrapy.Field()
    # 小说字数
    novelNumber = scrapy.Field()
    # 最后更新时间
    lastUpTime = scrapy.Field()
    # 点击数
    click = scrapy.Field()
    # 推荐数
    <