scrapy 管道异步多表插入MySQL

当使用异步MySQL驱动程序时，我们需要使用异步/await语法来编写异步代码。下面是一个示例Scrapy管道，用于异步插入MySQL多个表中：

import asyncio
import aiomysql
from scrapy.exceptions import NotConfigured

class AsyncMySQLPipeline:
    def __init__(self, db_settings):
        self.db_settings = db_settings
        self.db_pool = None

    @classmethod
    def from_crawler(cls, crawler):
        db_settings = crawler.settings.getdict('MYSQL_SETTINGS')
        if not db_settings:
            raise NotConfigured
        return cls(db_settings)

    async def open_spider(self, spider):
        self.db_pool = await aiomysql.create_pool(**self.db_settings)

    async def close_spider(self, spider):
        self.db_pool.close()
        await self.db_pool.wait_closed()

    async def process_item(self, item, spider):
        async with self.db_pool.acquire() as conn:
            async with conn.cursor() as cur:
                # 异步插入数据到表1
                await cur.execute('INSERT INTO table1 (col1, col2, col3) VALUES (%s, %s, %s)', (item['col1'], item['col2'], item['col3']))
                # 异步插入数据到表2
                await cur.execute('INSERT INTO table2 (col1, col2, col3) VALUES (%s, %s, %s)', (item['col4'], item['col5'], item['col6']))
                # 异步提交事务
                await conn.commit()
        return item

在这个异步MySQL管道中，我们使用了aiomysql库来实现异步的数据库连接和操作。我们首先定义了构造函数和fromcrawler方法，以便从Scrapy配置中获取MySQL连接信息。然后，我们在openspider方法中创建了一个数据库连接池。在processitem方法中，我们使用异步/await语法将数据插入到每个表中，并在最后提交事务。在closespider方法中，我们关闭了数据库连接池。

要使用此管道，请在Scrapy配置文件中添加以下行：

ITEM_PIPELINES = {
    'myproject.pipelines.AsyncMySQLPipeline': 300,
}

MYSQL_SETTINGS = {
    'host': 'localhost',
    'port': 3306,
    'user': 'myuser',
    'password': 'mypassword',
    'db': 'mydatabase',
    'charset': 'utf8mb4',
    'autocommit': True,
    'maxsize': 10,
    'minsize': 1,
}

在上面的配置文件中，我们使用了AsyncMySQLPipeline作为ITEMPIPELINES的值，并设置了MYSQLSETTINGS字典，其中包含MySQL连接信息。