Scrapy框架(二. 数据持久化存储)

简单的持久化存储数据


Scrapy快速入门





两种存储方式:
一. 通过执行命令(有局限性)
二. 编写pipelines.py等文件 (操作相对复杂)
                      1.  修改、编写 items.py
                      2.  修改、编写 baidu.py
                      3.  编写 pipelines.py
                      4.  修改、编写 settings.py
                      5.  运行




一. 通过Terminal窗口,执行命令,对数据进行存储 (有局限性)

  只能用于生成 json、 jsonlines、 jl、 csv、 xml、 marshal、 pickle 类型文件

在这里插入图片描述







二. 通过piplines.py文件,对数据进行存储


1. 编写items.py文件

在这里插入图片描述



2. 编写baidu.py文件

在这里插入图片描述



3. 编写pipelines.py文件

在这里插入图片描述



4. 编写settings.py文件

在这里插入图片描述



5. Terminal 窗口中执行命令 scrapy crawl baidu

在这里插入图片描述

等待, 则生成名为baidu.txt文件,且爬取网页源码数据自动存储至该文件

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Scrapy框架提供了多种持久化存储方式,包括输出到文件、存储数据库等。下面给出几种常见的持久化存储方式及对应的代码: 1. 输出到文件 可以使用Scrapy框架提供的File Pipeline将数据输出到文件中。在settings.py文件中配置如下: ```python # 将数据输出到json文件中 ITEM_PIPELINES = { 'scrapy.pipelines.files.FilesPipeline': 1 } FILES_STORE = '/path/to/your/files/store' ``` 在Spider中定义要输出的Item: ```python class MySpider(scrapy.Spider): name = 'myspider' def parse(self, response): item = MyItem() # 填充Item字段 yield item ``` 2. 存储数据库 可以使用Scrapy框架提供的Item Pipeline将数据存储数据库中。在settings.py文件中配置如下: ```python # 存储到MySQL数据库中 ITEM_PIPELINES = { 'myproject.pipelines.MySQLPipeline': 300 } MYSQL_HOST = 'localhost' MYSQL_PORT = 3306 MYSQL_USER = 'root' MYSQL_PASSWORD = 'password' MYSQL_DBNAME = 'mydatabase' ``` 在Pipeline中实现存储逻辑: ```python import pymysql class MySQLPipeline(object): def __init__(self, host, port, user, password, dbname): self.host = host self.port = port self.user = user self.password = password self.dbname = dbname @classmethod def from_crawler(cls, crawler): return cls( host=crawler.settings.get('MYSQL_HOST'), port=crawler.settings.get('MYSQL_PORT'), user=crawler.settings.get('MYSQL_USER'), password=crawler.settings.get('MYSQL_PASSWORD'), dbname=crawler.settings.get('MYSQL_DBNAME') ) def open_spider(self, spider): self.conn = pymysql.connect( host=self.host, port=self.port, user=self.user, password=self.password, db=self.dbname, charset='utf8mb4' ) self.cursor = self.conn.cursor() def close_spider(self, spider): self.conn.close() def process_item(self, item, spider): # 存储逻辑 sql = "INSERT INTO mytable (field1, field2) VALUES (%s, %s)" params = (item['field1'], item['field2']) self.cursor.execute(sql, params) self.conn.commit() return item ``` 以上是两种常见的持久化存储方式,具体实现方式可以根据自己的需求进行修改。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值