python 协程 在批量插入时候的无能为力

最新推荐文章于 2024-07-18 02:49:14 发布
最新推荐文章于 2024-07-18 02:49:14 发布
阅读量781 收藏
点赞数 1
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangxiaodong88/article/details/78834225
版权
在面临500万用户批量插入数据库的压力测试时，发现纯Python的协程在插入速度上并未显著优于非协程实现，两者耗时相近。分析指出，数据库的插入操作而非程序本身是性能瓶颈。协程更适合于并发爬取不同网站等场景，而非数据库读写。
摘要由CSDN通过智能技术生成

引言

需要压力测试需要添加至少500万的用户还有相关信息，目前只操作3各表，插入速度太慢了，插入一万条数据就需要30分钟左右。然后就想到很多办法去优化。首先想到了协程。

首先，协程就是解决并发问题的，插入语句是一种IO流操作，想着遇到io流阻塞就会切换这样插入的快一点

实验结果表明和不用协程实现插入时间上面区别不大
python 使用协程的程序如下

    def add_user(self, number=10):
        gevent_list = [gevent.spawn(self.gevent_add_user_test, number) for i in range(2)]
        gevent.joinall(gevent_list)

    cellphone = 10000000000

    def gevent_add_user_test(self, number)
最低0.47元/天 解锁文章
yangxiaodong88
关注
专栏目录
python脚本实现数据空表批量插入大量数据
xiaxinhan的博客
12-31 2796
1、python环境安装mysql-connector： python -m pip install mysql-connector 2、连接数据库 3、写函数，因为我这里插入数据的一个值是另一张表里查询出来的，所以先写一个查询函数，返回值；再写一个插入函数；最后调用函数 表里数据已更新 整体代码如下： import mysql.connector import random #connect mysql mydb = mysql.connector.connect( host="10.
Python向数据库中批量插入数据
Vallelonga的博客
05-16 237
只是浅浅接触过数据库，今天突然有批量插入数据的需求。可以使用 Java 编写代码驱动远程的 MySQL 数据库，但是 Java 好像又要搞一堆 .xml 文件，模型类等等，我对这些都不熟。发现 Python 可以一个脚本搞定，运行也极为简单，在 cmd 里 python ./insert.py 即可。
python 批量处理大数据写入数据库
最新发布
weixin_36917297的博客
07-18 73
在Python中批量处理大数据写入数据库是一种常见的做法，目的是为了提升数据写入效率和减少系统资源消耗。以下是几个关键步骤和策略：1. 准备数据使用Pandas或其他数据处理库加载或生成数据，将其转换为DataFrame或其他易于处理的格式。对数据进行预处理，包括清理、转换和验证，确保数据满足数据库表结构的要求。2. 连接...
利用Python批量插入到数据库（含变量插入）
qq_41596734的博客
03-30 1829
安装pymysql，在pycharm中安装最好，中间用命令安装到script一直报错！！！ 下面是造数据的详细代码 数据库中已 创建好数据库 create table if NOT EXISTS data_stu1( id int auto_increment primary key, name VARCHAR(10), sex char(3), school VARCHAR(25), hobby VARCHAR(25), home VARCHAR(25), enter_data VARCHAR(25),
Python批量插入数据
frwcode的博客
09-04 1387
Python批量插入数据到mysql中，相较于jdbc，简化了长度。 import mysql.connector as conn def __getConn(): db = conn.connect( host="localhost", user="root", passwd="root", database="test" ) return db def insertBatch(db): cur =
python-批量插入数据
qq_42636236的博客
11-06 807
是不是在工作中经常会遇到各种数据需要我们处理然后将所需要的数据最终写入数据库这种事情呢？实例需求：如果已有人员权限表（已提供excel表），想查看这些人是否存在于数据库表user用户表中，如果存在则跳过，否则将这个用户插入到表中。（批量查询写入操作）这样就完成批量数据的写入了，是不是很简单？三、将已获取的数据源数据写入表中。一、连接mysql数据库。
深入浅析python 协程与go协程的区别
01-20
【深入浅析Python协程与Go协程的区别】 在计算机科学中，进程、线程和协程是并发执行任务的三种基本方式。进程是程序在操作系统中的实例，包含内存空间和资源；线程是进程中的执行单元，是CPU调度的基本单位，同一...
使用Python对word批量插入图片
04-15
语言：python，目的：批量对文件夹中的word插入签章图片
Python协程 yield与协程greenlet简单用法示例
01-02
本文实例讲述了Python协程 yield与协程greenlet简单用法。分享给大家供大家参考，具体如下： 协程 协程，又称微线程，纤程。英文名Coroutine。 协程是啥 协程是python个中另外一种实现多任务的方式，只不过比线程更...
Python开发（二）封装批量插入
XuTen的博客
07-19 633
#coding=utf-8 import MySQLdb conn= MySQLdb.connect( host='localhost', port = 3306, user='root', passwd='xuteng', db ='test', ) cur = conn.cursor() #jsonA
Python + MySQL（7）批量插入数据到MySQL数据库
weixin_42221654的博客
11-24 953
参数化sql批量插入Mysql数据库；将csv文件导入到mysql数据库
Spring 5 中文解析数据存储篇-JDBC数据存储(下)
liyong1028826685的专栏
09-28 392
3.7 作为Java对象JDBC操作模型 org.springframework.jdbc.object包包含一些类，这些类使你以更加面向对象的方式访问数据库。例如，你可以运行查询并将结果作为包含业务对象的列表返回，该业务对象的关联列数据映射到业务对象的属性。你还可以运行存储过程并运行update，delete和insert语句。 许多Spring开发人员认为，下面描述的各种RDBMS操作类（StoredProcedure类除外）通常可以用直接的JdbcTemplate调用代替。通常，编写直接在JdbcT
python多进程、多线程、协程向mysql插入10000条数据
热门推荐
Do it Yourself
12-05 1万+
使用python多进程、多线程、协程向mysql插入10000条数据使用futures的ProcessPoolExecutor进程池import pymysql import time, requests from concurrent.futures import ProcessPoolExecutor def data_handler(urls): conn = pymysql.conn
python 关于gevent生成协程及优化
Ch_zhenhua的博客
05-19 355
python insert into 多条数据循环_一条insert语句批量插入多条记录
weixin_39883433的博客
12-11 3813
一条insert语句批量插入多条记录常见的insert语句，向数据库中，一条语句只能插入一条数据：insertintopersons(id_p,lastname,firstName,city)values(204,'haha','deng','shenzhen');(如上，仅插入了一条记录)怎样一次insert插入多条记录呢？使用示例：insertintopersons(...
[Python]解决协程问题
weixin_46852231的博客
10-28 285
协程[python] 讲到协程，我们首先要知道的是代码的运行存在同步和异步的方式。同步是流水线式的执行代码，这是众所周知的；而异步则相反，协程的异步运行可以在代码遇到I/O问题而产生阻塞时，自动跳转到下一部分代码运行。当运行结束后可以返回到之前等待的部分，实现高效率的工作。 协程基于效率而产生的优化代码和程序的工作模式，与协程类似的还有进程与线程的工作模式，这可以在原本能够运行的大型程序（含有大量同类操作）的基础上更加快速的实现代码，这类操作我们可以应用在python爬虫上， 为了更加直观的看出协程的优点，
使用asyncio协程写入数据为什么不能挂起
千灯的博客
01-25 252
使用asyncio协程写入数据为什么不能挂起 问题：今天练习中使用asyncio协程跟aiohttp进行多任务请求发现在写入文件的时候使用await挂起无效， 难道写入数据不是一个耗时的io操作吗？为什么不能使用await挂起呢！ 解答：1.因为协程其实就是利用一个线程工作时相互切换实现的(形象来说就是疯狂压榨一个线程），它是一个线程工作的。 而写入数据是一个持续的过程，这个过程是要线程一直工作的！所以如果你在写入数据的时候挂起或者阻塞，那么这个线程 就不能进行写入操作。所以这就是为什么在写入文件
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值