Scrapy框架 数据同时存到mysql 和 本地磁盘 及优先级设置

在管道文件内编写

pipelines管道文件

• 另外写一个类来处理储存

# 储存方式1
class QiubaiproPipeline(object):
    # 对提交的item对象，mysql数据库储存
    # 爬虫每次提交item，该方法被执行一次
    def process_item(self, item, spider):
        return item

# 将数据存到本地磁盘2
class QiubaiByFiles(object):
    def process_item(self, item, spider):
        print('此处省略，假装写入磁盘文件')
        return item

---

setting文件

• 将类名安格式写入setting中
• 数值越高优先级越高

# 数值越大优先级越高
ITEM_PIPELINES = {
   'qiubaiPro.pipelines.QiubaiproPipeline': 300,  # 300优先级
   'qiubaiPro.pipelines.QiubaiByFiles': 400,  # 优先级更高
}