Scrapy 异步写入Mysql

最新推荐文章于 2021-02-02 09:10:37 发布

甄超锋

最新推荐文章于 2021-02-02 09:10:37 发布

阅读量1.1k

点赞数 3

分类专栏：爬虫文章标签： python3 爬虫 scrapy python mysql

本文链接：https://blog.csdn.net/Mr_Zhen/article/details/87863024

版权

这篇博客介绍了如何在Python3环境下，使用Scrapy爬虫框架实现数据的异步写入MySQL数据库，包括pipelines.py和settings.py的配置方法。

摘要由CSDN通过智能技术生成

python3 异步写入MySQL

十分想念顺店杂可。。。

pipelines.py

# pipelines.py

from .settings import MY_SETTINGS
from pymysql import cursors
# twisted 网络框架
# API 接口
from twisted.enterprise import adbapi


class SaveToMysqlAsynPipeline(object):
    # 从配置文件中读取配置
    @classmethod
    def from_settings(cls, settings):
        asyn_mysql_settings = MY_SETTINGS
        asyn_mysql_settings['cursorclass'] = cursors.DictCursor
        dbpool = adbapi.ConnectionPool("pymysql", **asyn_mysql_settings)
        return cls(dbpool)

    def __init__(self, dbpool):
        self.dbpool = dbpool
        if os.path.exists("job.state"):
            bloom = Bloomfilter("job.state")
        else:
            bloom = Bloomfilter(1000000)
        self.bloom = bloom
        query = self.d