python 测试mysql写入性能

原创 2016年08月31日 07:48:53

测试环境:

(1) 阿里云服务器centos 6.5

(2) 2G内存

(3) 普通硬盘

(4) mysql 5.1.73   数据库存储引擎为 InnoDB

(5) python 2.7

(6) 客户端模块   mysql.connector  


        测试方法:

(1) 普通写入

(2) 批量写入

(3) 事务加批量写入


普通写入:

def ordinary_insert(count):
    sql = "insert into stu(name,age,class)values('test mysql insert',30,8)"
    for i in range(count):
        cur.execute(sql)
   
批量写入,每次批量写入20条数据

def many_insert(count):
    sql = "insert into stu(name,age,class)values(%s,%s,%s)"

    loop = count/20
    stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
    #并不是元组里的数据越多越好
    for i in range(loop):
        cur.executemany(sql, stus)
事务加批量写入,每次批量写入20条数据,每20个批量写入作为一次事务提交

def transaction_insert(count):
    sql = "insert into stu(name,age,class)values(%s,%s,%s)"
    insert_lst = []
    loop = count/20

    stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
    #并不是元组里的数据越多越好
    for i in range(loop):
        insert_lst.append((sql,stus))
        if len(insert_lst) == 20:
            conn.start_transaction()
            for item in insert_lst:
                cur.executemany(item[0], item[1])
            conn.commit()
            print '0k'
            insert_lst = []

    if len(insert_lst) > 0:
        conn.start_transaction()
        for item in insert_lst:
            cur.executemany(item[0], item[1])
        conn.commit()

实验结果如下

数量	 普通写入	  many写入	事务加many写入
1万	  26.7s	   1.7s	      0.5s
10万	  266s	   19s	      5s
100万 2553s	   165s	      49s

批量写入,相比于普通的多次写入,减少了网络传输次数,因而写入速度加快。

不论是单次写入还是批量写入,数据库内部都要开启一个事务以保证写入动作的完整,如果在应用层,我们自己开启事物,那么就可以避免每一次写入数据库自己都开启事务的开销,从而提升写入速度。

事务加批量写入速度大概是批量写入速度的3倍,是普通写入的50倍。

完整的测试代码如下:

#coding=utf-8
'''
采用三种方法测试mysql.connector对mysql的写入性能,其他的例如mysqldb和pymysql客户端库的写入性能应该和mysql.connector一致
采用批量写入时,由于减少了网络传输的次数因而速度加快
开启事务,多次写入后再提交事务,其写入速度也会显著提升,这是由于单次的insert,数据库内部也会开启事务以保证一次写入的完整性
如果开启事务,在事务内执行多次写入操作,那么就避免了每一次写入都开启事务,因而也会节省时间
从测试效果来看,事务加批量写入的速度大概是批量写入的3倍,是普通写入的50倍
数量	 普通写入	  many写入	事务加many写入
1万	  26.7s	   1.7s	      0.5s
10万	  266s	   19s	      5s
100万 2553s	   165s	      49s

将autocommit设置为true,执行insert时会直接写入数据库,否则在execute 插入命令时,默认开启事物,必须在最后commit,这样操作实际上减慢插入速度
此外还需要注意的是mysql的数据库存储引擎如果是MyISAM,那么是不支持事务的,InnoDB 则支持事务
'''
import time
import sys
import mysql.connector
reload(sys)
sys.setdefaultencoding('utf-8')

config = {
        'host': '127.0.0.1',
        'port': 3306,
        'database': 'testsql',
        'user': 'root',
        'password': 'sheng',
        'charset': 'utf8',
        'use_unicode': True,
        'get_warnings': True,
        'autocommit':True
    }

conn = mysql.connector.connect(**config)
cur = conn.cursor()

def time_me(fn):
    def _wrapper(*args, **kwargs):
        start = time.time()
        fn(*args, **kwargs)
        seconds = time.time() - start
        print u"{func}函数每{count}条数数据写入耗时{sec}秒".format(func = fn.func_name,count=args[0],sec=seconds)
    return _wrapper

#普通写入
@time_me
def ordinary_insert(count):
    sql = "insert into stu(name,age,class)values('test mysql insert',30,8)"
    for i in range(count):
        cur.execute(sql)



#批量
@time_me
def many_insert(count):
    sql = "insert into stu(name,age,class)values(%s,%s,%s)"

    loop = count/20
    stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
    #并不是元组里的数据越多越好
    for i in range(loop):
        cur.executemany(sql, stus)

#事务加批量
@time_me
def transaction_insert(count):
    sql = "insert into stu(name,age,class)values(%s,%s,%s)"
    insert_lst = []
    loop = count/20

    stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
    #并不是元组里的数据越多越好
    for i in range(loop):
        insert_lst.append((sql,stus))
        if len(insert_lst) == 20:
            conn.start_transaction()
            for item in insert_lst:
                cur.executemany(item[0], item[1])
            conn.commit()
            print '0k'
            insert_lst = []

    if len(insert_lst) > 0:
        conn.start_transaction()
        for item in insert_lst:
            cur.executemany(item[0], item[1])
        conn.commit()

def test_insert(count):
    ordinary_insert(count)
    many_insert(count)
    transaction_insert(count)

if __name__ == '__main__':
    if len(sys.argv) == 2:
        loop = int(sys.argv[1])
        test_insert(loop)
    else:
        print u'参数错误'





版权声明:本文为博主原创文章,未经博主允许不得转载。

mysql千万级数据库插入速度和读取速度的调整记录

http://www.111cn.net/database/mysql/43315.htm 一般情况下mysql上百万数据读取和插入更新是没什么问题了,但到了上千万级就会出现很慢,下...
  • u013488847
  • u013488847
  • 2016年12月22日 21:09
  • 9955

MySQL插入语句insert性能优化

对于一些数据量较大的系统,面临的问题除了是查询效率低下,还有一个很重要的问题就是插入时间长。当导入的数据量较大时,插入操作耗费的时间相当可观。因此,提高大数据量系统的MySQL insert效率是很有...
  • kingzone_2008
  • kingzone_2008
  • 2012年12月27日 12:34
  • 29043

MongoDB与MySQL的插入、查询性能测试

1. 背景介绍 1.1  MongoDB的简单介绍 在当今的数据库市场上,MySQL无疑是占有一席之地的。作为一个开源的关系型数据库,MySQL被大量应用在各大网站后台中,承担着信息存储的重要作用...
  • clh604
  • clh604
  • 2014年02月21日 10:26
  • 45903

配置这几个参数,提高mysql写入速度

innodb_buffer_pool_size 如 果用Innodb,那么这是一个重要变量。相对于MyISAM来说,Innodb对于buffer size更敏感。MySIAM可能对于大数...
  • andy1219111
  • andy1219111
  • 2014年11月11日 11:41
  • 11061

mysql千万级数据库插入速度和读取速度的调整记录

一般情况下mysql上百万数据读取和插入更新是没什么问题了,但到了上千万级就会出现很慢,下面我们来看mysql千万级数据库插入速度和读取速度的调整记录吧。   (1)提高数据库插入性能中心...
  • qq_31065001
  • qq_31065001
  • 2017年05月10日 13:23
  • 1554

MySql 插入(insert)性能测试 以及优化

测试环境: 笔记本电脑 CPU:I5  系统:MAC OS 10.7 内存:8G 硬盘:5400转,笔记本硬盘   MySql 版本:Oracle官网下载的mysql-5.5.24-osx...
  • lgh1117
  • lgh1117
  • 2013年02月27日 21:28
  • 4672

Python接口测试之对MySQL的操作(六)

本文章主要来说python对mysql数据库的基本操作,当然,前提是已经搭建了python环境和搭建了Mysql 数据库的环境,python操作mysql数据库提供了MySQLdb库,下载的地址...
  • jennifer880204
  • jennifer880204
  • 2017年08月10日 16:30
  • 516

mysql读写性能测试

近来工作中用mysql较多,但其实自己对mysql性能并不十分了解。前阵子正好读到一篇写用mysqlslap压测mysql性能的文章,于是自己也尝试了一下mysqlslap并且得到一些数据和结论。把压...
  • caianye
  • caianye
  • 2014年12月16日 11:29
  • 1673

磁盘读写和数据库读写哪个效率更高?磁盘读写与数据库的关系

假定在程序效率和关键过程相当且不计入缓存等措施的条件下,读写任何类型的数据都没有直接操作文件来的快,不论MSYQL过程如何,最后都要到磁盘上去读这个“文件”(记录存储区等效),所以当然这一切的前提是只...
  • xiaofei0859
  • xiaofei0859
  • 2016年04月13日 23:14
  • 2338

Python MySQLdb 使用utf-8 编码插入中文数据

这几天忙着帮人做一个从网页抓取股票信息并把相应信息存入MySQL中的程序。使用环境:Python 2.5 for WindowsMySQLdb 1.2.2 for Python 2.5MySQL 4....
  • DKman803
  • DKman803
  • 2007年12月09日 01:08
  • 20039
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:python 测试mysql写入性能
举报原因:
原因补充:

(最多只允许输入30个字)