python模块之 aiomysql 异步mysql

mysql安装教程
mysql语法大全
python 模块pymysql模块,连接mysql数据库

一、介绍

aiomysql 是一个基于 asyncio 的异步 MySQL 客户端库,用于在 Python 中与 MySQL 数据库进行交互。它提供了异步的数据库连接和查询操作,适用于异步编程环境

  1. 异步支持:aiomysql 是基于 asyncio 实现的,可以与 asyncio 框架无缝集成,充分利用异步编程的优势,提高应用程序的性能和并发能力。
  2. 高性能:aiomysql 使用了底层的 PyMySQL 库,通过异步操作和连接池技术,可以实现高性能的数据库访问。
  3. 支持事务:aiomysql 提供了事务管理的支持,可以执行原子性的数据库操作,保证数据的一致性。
  4. SQL 语句构建器:aiomysql 提供了一个 SQL 语句构建器,可以方便地构建和执行 SQL 查询。
二、安装
pip install aiomysql
三、方法及属性
  1. aiomysql.connect():连接mysql,conn = await aiomysql.connect(host=‘localhost’, port=3307, user=‘root’, password=‘root’)
  • host:MySQL 服务器的主机名或 IP 地址。
  • port:MySQL 服务器的端口号,默认为 3306。
  • user:连接 MySQL 服务器的用户名。
  • password:连接 MySQL 服务器的密码。
  • db:连接的数据库名称。
  • unix_socket:UNIX 域套接字路径。如果指定了 unix_socket,则会忽略 host 和 port 参数。
  • charset:连接的字符集,默认为 “utf8mb4”。
  • autocommit:自动提交模式,默认为 False。如果设置为 True,则每个 SQL 语句都会自动提交。
  • connect_timeout:连接超时时间(以秒为单位),默认为 10 秒。
  • maxsize:连接池中的最大连接数,默认为 10。
  • minsize:连接池中的最小连接数,默认为 1。
  • ssl:SSL 配置参数。可以传入一个字典,包含 SSL 相关的配置选项,如 ssl={‘cert’: ‘/path/to/cert.pem’, ‘key’: ‘/path/to/key.pem’}。
  • loop:事件循环对象。如果不指定,将使用默认的事件循环。
  • pool_recycle:连接池中连接的回收时间(以秒为单位)。当连接在连接池中的时间超过 pool_recycle 时,连接将被回收并重新创建。
  • echo:是否打印 SQL 语句,默认为 False。如果设置为 True,则会在控制台打印执行的 SQL 语句。
  • cursorclass:游标类,默认为 aiomysql.cursors.DictCursor,返回的查询结果将以字典形式返回。
  • server_public_key:服务器公钥,用于 SSL/TLS 连接的服务器验证。
  1. aiomysql.create_pool():创建一个连接池。该方法用于创建一个异步连接池,接受一系列的连接参数,例如数据库主机、端口、用户名、密码等。pool = await aiomysql.create_poo(host=‘localhost’, port=3307, user=‘root’, password=‘root’)
  • host:MySQL 服务器的主机名或 IP 地址。
  • port:MySQL 服务器的端口号,默认为 3306。
  • user:连接 MySQL 服务器的用户名。
  • password:连接 MySQL 服务器的密码。
  • db:连接的数据库名称。
  • unix_socket:UNIX 域套接字路径。如果指定了 unix_socket,则
    忽略 host 和 port 参数。
  • charset:连接的字符集,默认为 “utf8mb4”。
  • autocommit:自动提交模式,默认为 False。如果设置为 True,则每个 SQL 语句都会自动提交。
  • minsize:连接池中的最小连接数,默认为 1。
  • maxsize:连接池中的最大连接数,默认为 10。
  • connect_timeout:连接超时时间(以秒为单位),默认为 10 秒。
  • pool_recycle:连接池中连接的回收时间(以秒为单位)。当连接在连接池中的时间超过 pool_recycle 时,连接将被回收并重新创建。
  • ssl:SSL 配置参数。可以传入一个字典,包含 SSL 相关的配置选项,如 ssl={‘cert’: ‘/path/to/cert.pem’, ‘key’: ‘/path/to/key.pem’}。
  • loop:事件循环对象。如果不指定,将使用默认的事件循环。
  • echo:是否打印 SQL 语句,默认为 False。如果设置为 True,则会在控制台打印执行的 SQL 语句。
  • cursorclass:游标类,默认为 aiomysql.cursors.DictCursor,返回的查询结果将以字典形式返回。
  • server_public_key:服务器公钥,用于 SSL/TLS 连接的服务器验证
  1. pool.acquire():从连接池中获取一个连接。该方法用于从连接池中获取一个异步连接对象,可以用于执行数据库操作。coon = pool.acquire()
  2. pool.release(coon):释放一个连接。该方法用于将一个连接对象返回到连接池中,以便其他代码可以继续使用。
  3. pool.close() :用于关闭连接池。调用 close() 方法后,连接池将不再接受新的连接请求,并开始关闭池中的所有连接。
  4. pool.wait_closed():用于等待连接池中的所有连接关闭。在调用 close() 方法后,应该调用 wait_closed() 方法来确保所有连接都已关闭,然后才能结束程序。
  5. pool.size:表示连接池的当前大小,即池中当前可用的连接数。
  6. pool.maxsize:表示连接池的最大连接数。当连接池中的连接数达到最大值时,新的连接请求将被阻塞,直到有连接被释放。
  7. pool.minsize:表示连接池的最小连接数。连接池在初始化时会创建最小连接数的连接,并保持这些连接处于活动状态。
  8. conn.close():关闭连接。该方法用于关闭连接,释放资源。
  9. conn.host:MySQL 服务器的主机名或 IP 地址。
  10. conn.port:MySQL 服务器的端口号。
  11. conn.user:连接 MySQL 服务器的用户名。
  12. conn.db:当前连接的数据库名称。
  13. conn.server_status:MySQL 服务器的状态信息。
  14. conn.server_capabilities:MySQL 服务器的功能列表。
  15. conn.client_flag:客户端标志。
  16. conn.insert_id:最近插入行的自增 ID。
  17. conn.warning_count:最近一次执行的 SQL 语句产生的警告数量。
  18. conn.errorhandler:错误处理器。
  19. conn.autocommit:自动提交模式。该属性用于设置是否开启自动提交模式,默认为 False。
  20. conn.charset:字符集。该属性用于设置数据库连接的字符集,默认为 “utf8mb4”。
  21. conn.maxsize:最大连接数。该属性用于设置连接池中的最大连接数,默认为 10。
  22. conn.minsize:最小连接数。该属性用于设置连接池中的最小连接数,默认为 1。
  23. conn.timeout:连接超时时间。该属性用于设置连接的超时时间,默认为 10 秒。
  24. conn.echo:是否打印 SQL 语句。该属性用于设置是否在控制台打印执行的 SQL 语句,默认为 False。
  25. conn.loop:事件循环对象。该属性用于设置要使用的事件循环对象。
  26. conn.connection:当前连接对象。该属性用于获取当前的连接对象。
  27. conn.server_version:MySQL 服务器版本。该属性用于获取 MySQL 服务器的版本信息。
  28. conn.commit():提交事务。该方法用于提交当前事务的操作。
  29. conn.begin():提开始一个事务。
  30. conn.ping():检查连接是否存活。
  31. conn.select_db(dbName):切换数据库
  32. conn.escape_string(string):对字符串进行 MySQL 转义。
  33. conn.rollback():回滚事务。该方法用于回滚当前事务的操作。
  34. conn.cursor():创建一个游标对象。该方法用于创建一个异步游标对象,用于执行 SQL 查询和操作。cursor=conn.cursor()
  35. cursor.close():关闭游标对象
  36. cursor.execute(sql, args=None):执行 SQL 语句。该方法用于执行 SQL 语句,接受 SQL 语句字符串和参数,可以执行查询、插入、更新等操作。
  37. cursor.executemany(sql, args=None):执行多个 SQL 语句。该方法用于执行多个相同结构的 SQL 语句,接受 SQL 语句字符串和参数列表。
  38. cursor.fetchone():获取一条查询结果。该方法用于获取查询结果的下一行数据。
  39. cursor.fetchall():获取所有查询结果。该方法用于获取查询结果的所有行数据。
  40. cursor.fetchmany(size=None):获取查询结果的多行。
  41. cursor.rowcount:最近一次执行的 SQL 语句影响的行数。
  42. cursor.lastrowid:最近插入行的自增 ID。
  43. cursor.description:查询结果的字段描述信息。
  44. cursor.rownumber:当前行在查询结果中的索引。
  45. cursor.arraysize:获取或设置从数据库获取的行数。
四、案例
  1. 基本使用 aiomysql.connect()
    import aiomysql
    import asyncio
    
    
    async def main():
        conn = await aiomysql.connect(host='localhost', port=3306, user='root', password='root',db='job')
        cursor = await conn.cursor()
        await cursor.execute('SELECT * FROM baidu_job;')
        result = await cursor.fetchall()
        print(result)
        await cursor.close()
        conn.close()
    
    
    asyncio.run(main())
    
  2. 连接池 aiomysql.create_pool(),建议使用连接池
    import aiomysql
    import asyncio
    
    async def main():
        pool = await aiomysql.create_pool(host='localhost', port=3306, user='root', password='root',db='job')
        async with pool.acquire() as conn:
            async with conn.cursor() as cursor:
                await cursor.execute('SELECT * FROM baidu_job;')
                result = await cursor.fetchall()
                print(result)
    
    asyncio.run(main())
    
  3. 连接池爬取汽车之家数据
    '''
    网址:https://www.che168.com/china/a0_0msdgscncgpi1ltocsp7exf4x0/?pvareaid=102179#currengpostion
    '''
    
    import asyncio
    import aiohttp
    import aiomysql
    from lxml import etree
    import random
    
    
    class Car:
        url = {
            'car_list': 'https://www.che168.com/china/a0_0msdgscncgpi1ltocsp{}exf4x0/?pvareaid=102179#currengpostion',
            'car_detail': 'https://cacheapigo.che168.com/CarProduct/GetParam.ashx?specid={}'
        }
    
        headers = {
            'authority': 'www.che168.com',
            'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
            'accept-language': 'zh-CN,zh;q=0.9',
            'cache-control': 'no-cache',
            'pragma': 'no-cache',
            'referer': 'https://www.che168.com/dealer/481320/48787661.html?pvareaid=100519&userpid=0&usercid=0&offertype=&offertag=0&activitycartype=0&fromsxmlist=0',
            'sec-ch-ua': '"Chromium";v="116", "Not)A;Brand";v="24", "Google Chrome";v="116"',
            'sec-ch-ua-mobile': '?0',
            'sec-ch-ua-platform': '"Windows"',
            'sec-fetch-dest': 'document',
            'sec-fetch-mode': 'navigate',
            'sec-fetch-site': 'same-origin',
            'sec-fetch-user': '?1',
            'upgrade-insecure-requests': '1',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36',
        }
    
        def __init__(self):
            self.pool = None
            self.request = None
    
        '''获取汽车列表'''
        async def get_car_list(self, page):
            print(self.url['car_list'].format(page))
            response = await self.request.get(self.url['car_list'].format(page))
            result = await response.text(encoding='GBK')
            return etree.HTML(result)
    
        '''处理汽车列表信息'''
        async def parse_car_list_info(self, html):
            car_list_html = html.xpath('//div[@id="goodStartSolrQuotePriceCore0"]//li[@name="lazyloadcpc"]')
            task_list = []
            for item in car_list_html:
                car_info = {
                    'specid': item.xpath('./@specid')[0],
                    'infoid': item.xpath('./@infoid')[0]
                }
                task = asyncio.create_task(self.get_car_detail(car_info))
                task_list.append(task)
            await asyncio.wait(task_list)
    
        '''获取第一页数据,并返回总页数'''
        async def get_first_page(self):
            html = await self.get_car_list(1)
            page_total = html.xpath('//div[@id="listpagination"]/a[last()-1]/text()')[0]
            await self.parse_car_list_info(html)
            return int(page_total)
    
        '''获取除第一页数据之外的其他页数据'''
        async def get_all_page(self,page):
            async with self.semaphore:
                await asyncio.sleep(random.randint(500, 800) / 1000)
                html = await self.get_car_list(page)
                await self.parse_car_list_info(html)
    
        '''获取汽车详情'''
        async def get_car_detail(self, car_info):
            response = await self.request.get(self.url['car_detail'].format(car_info['specid']))
            result = await response.json()
            detail = result['result']['paramtypeitems']
            car_detail = {
                'specid': car_info['specid'],
                'infoid': car_info['infoid'],
                'name': detail[0]['paramitems'][0]['value'],
                'price': detail[0]['paramitems'][1]['value'],
                'manufacturer': detail[0]['paramitems'][2]['value'],
                'level': detail[0]['paramitems'][3]['value'],
                'length': f'{detail[1]["paramitems"][0]["value"]}mm',
                'width': f'{detail[1]["paramitems"][1]["value"]}mm',
                'height':f'{detail[1]["paramitems"][2]["value"]}mm',
            }
            await self.insert_table(car_detail)
    
        '''异步建立mysql表'''
        async def create_table(self):
            sql = '''
            CREATE TABLE IF NOT EXISTS qichezhijia(
            Id INT UNIQUE,
            Specid INT,
            Name VARCHAR(255),
            Price VARCHAR(10),
            Manufacturer VARCHAR(255),
            Level VARCHAR(50),
            Length VARCHAR(10),
            Width VARCHAR(10),
            Height VARCHAR(10),
            PRIMARY KEY(Id)
            )
            '''
            async with self.pool.acquire() as conn:
                async with conn.cursor() as cursor:
                    try:
                        await cursor.execute(sql)
                    except Exception as e:
                        print(f'创建表失败{e}')
    
        '''插入数据'''
        async def insert_table(self,car_detail):
            sql = '''
            INSERT INTO qichezhijia VALUES(%(infoid)s,%(specid)s,%(name)s,%(price)s,%(manufacturer)s,%(level)s,%(length)s,%(width)s,%(height)s)
            '''
            async with self.pool.acquire() as conn:
                async with conn.cursor() as cursor:
                    try:
                        await cursor.execute(sql, car_detail)
                        await conn.commit()
                        print('数据插入成功')
                    except Exception as e:
                        print(f'插入数据失败{e},infoid={car_detail["infoid"]}')
    
        '''程序运行主函数'''
        async def main(self):
            async with aiomysql.create_pool(host='localhost', port=3306, user='root', password='root', db='car') as pool:
                self.pool = pool
                await self.create_table()
                async with aiohttp.ClientSession(headers=self.headers) as request:
                    self.request = request
                    page_total = await self.get_first_page()
                    self.semaphore = asyncio.Semaphore(3)
                    task_list = []
                    for page in range(2,page_total+1):
                        task = asyncio.create_task(self.get_all_page(page))
                        task_list.append(task)
                    await asyncio.wait(task_list)
    
    
    if __name__ == '__main__':
        car = Car()
        asyncio.run(car.main())
    
### 回答1: 以下是Python使用MySQL和MongoDB进行异步读取的代码示例对比: 使用PythonMySQL异步读取数据: ```python import asyncio import aiomysql async def mysql_example(loop): conn = await aiomysql.connect( host='localhost', port=3306, user='root', password='password', db='test', loop=loop ) cursor = await conn.cursor() await cursor.execute("SELECT * FROM users") rows = await cursor.fetchall() for row in rows: print(row) conn.close() loop = asyncio.get_event_loop() loop.run_until_complete(mysql_example(loop)) ``` 使用Python和MongoDB异步读取数据: ```python import asyncio import pymongo async def mongo_example(loop): client = pymongo.MongoClient('mongodb://localhost:27017/') db = client['test'] collection = db['users'] cursor = collection.find({}) async for document in cursor: print(document) client.close() loop = asyncio.get_event_loop() loop.run_until_complete(mongo_example(loop)) ``` 这两个示例都使用Python的asyncio库来实现异步读取。MySQL异步库是aiomysql,而MongoDB的异步库是pymongo。在异步读取数据方面,两者非常相似,只是使用的库和语法略有不同。 ### 回答2: 下面是一个简单的代码示例来比较PythonMySQL与MongoDB在异步读取方面的区别: Python使用异步读取MySQL数据库: ```python import asyncio import aiomysql async def read_from_mysql(): connection = await aiomysql.connect(host='localhost', port=3306, user='root', password='password', db='mydatabase') cursor = await connection.cursor() await cursor.execute("SELECT * FROM mytable") result = await cursor.fetchall() await cursor.close() connection.close() return result async def main(): results = await read_from_mysql() print(results) loop = asyncio.get_event_loop() loop.run_until_complete(main()) ``` Python使用异步读取MongoDB数据库: ```python import asyncio from motor.motor_asyncio import AsyncIOMotorClient async def read_from_mongodb(): client = AsyncIOMotorClient('mongodb://localhost:27017') db = client['mydatabase'] collection = db['mycollection'] results = [] async for document in collection.find(): results.append(document) return results async def main(): results = await read_from_mongodb() print(results) loop = asyncio.get_event_loop() loop.run_until_complete(main()) ``` 在上面的代码示例中,我们使用了aiomysql库来连接和读取MySQL数据库,并使用了motor库来连接和读取MongoDB数据库。通过async/await关键字和异步函数,我们可以在代码中执行非阻塞的数据库操作。总体而言,在异步读取方面,两种数据库都可以很好地与Python配合使用。 ### 回答3: 在Python中,MySQL和MongoDB是两种常用的数据库,而异步读取是一种能够提高数据读取效率的技术。下面是Python中使用异步读取MySQL和MongoDB数据库的比较代码。 MySQL异步读取代码示例: ```python import asyncio import aiomysql async def read_mysql(): conn = await aiomysql.connect(host='localhost', port=3306, user='root', password='password', db='mydb') cursor = await conn.cursor() await cursor.execute('SELECT * FROM mytable') results = await cursor.fetchall() for result in results: print(result) await cursor.close() conn.close() loop = asyncio.get_event_loop() loop.run_until_complete(read_mysql()) ``` MongoDB异步读取代码示例: ```python import asyncio from motor.motor_asyncio import AsyncIOMotorClient async def read_mongodb(): client = AsyncIOMotorClient('mongodb://localhost:27017') db = client.mydb collection = db.mycollection cursor = collection.find() async for document in cursor: print(document) loop = asyncio.get_event_loop() loop.run_until_complete(read_mongodb()) ``` 在以上代码示例中,`aiomysql`库和`motor`库都是提供异步读取数据库的库。在MySQL的示例中,使用`aiomysql.connect`建立异步连接,并使用`await`关键字来等待操作完成。而在MongoDB的示例中,使用`AsyncIOMotorClient`建立异步连接,并使用`async for`迭代器来获取查询结果。 通过异步读取,可以在等待数据库操作时执行其他任务,从而提高整体的处理能力和效率。然而,需要注意的是,异步读取对于简单的查询而言可能并不会带来显著的性能提升,适用于I/O密集型的大规模数据读取操作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

局外人LZ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值