python 测试mysql写入性能

原创 2016年08月31日 07:48:53

测试环境:

(1) 阿里云服务器centos 6.5

(2) 2G内存

(3) 普通硬盘

(4) mysql 5.1.73   数据库存储引擎为 InnoDB

(5) python 2.7

(6) 客户端模块   mysql.connector  


        测试方法:

(1) 普通写入

(2) 批量写入

(3) 事务加批量写入


普通写入:

def ordinary_insert(count):
    sql = "insert into stu(name,age,class)values('test mysql insert',30,8)"
    for i in range(count):
        cur.execute(sql)
   
批量写入,每次批量写入20条数据

def many_insert(count):
    sql = "insert into stu(name,age,class)values(%s,%s,%s)"

    loop = count/20
    stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
    #并不是元组里的数据越多越好
    for i in range(loop):
        cur.executemany(sql, stus)
事务加批量写入,每次批量写入20条数据,每20个批量写入作为一次事务提交

def transaction_insert(count):
    sql = "insert into stu(name,age,class)values(%s,%s,%s)"
    insert_lst = []
    loop = count/20

    stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
    #并不是元组里的数据越多越好
    for i in range(loop):
        insert_lst.append((sql,stus))
        if len(insert_lst) == 20:
            conn.start_transaction()
            for item in insert_lst:
                cur.executemany(item[0], item[1])
            conn.commit()
            print '0k'
            insert_lst = []

    if len(insert_lst) > 0:
        conn.start_transaction()
        for item in insert_lst:
            cur.executemany(item[0], item[1])
        conn.commit()

实验结果如下

数量	 普通写入	  many写入	事务加many写入
1万	  26.7s	   1.7s	      0.5s
10万	  266s	   19s	      5s
100万 2553s	   165s	      49s

批量写入,相比于普通的多次写入,减少了网络传输次数,因而写入速度加快。

不论是单次写入还是批量写入,数据库内部都要开启一个事务以保证写入动作的完整,如果在应用层,我们自己开启事物,那么就可以避免每一次写入数据库自己都开启事务的开销,从而提升写入速度。

事务加批量写入速度大概是批量写入速度的3倍,是普通写入的50倍。

完整的测试代码如下:

#coding=utf-8
'''
采用三种方法测试mysql.connector对mysql的写入性能,其他的例如mysqldb和pymysql客户端库的写入性能应该和mysql.connector一致
采用批量写入时,由于减少了网络传输的次数因而速度加快
开启事务,多次写入后再提交事务,其写入速度也会显著提升,这是由于单次的insert,数据库内部也会开启事务以保证一次写入的完整性
如果开启事务,在事务内执行多次写入操作,那么就避免了每一次写入都开启事务,因而也会节省时间
从测试效果来看,事务加批量写入的速度大概是批量写入的3倍,是普通写入的50倍
数量	 普通写入	  many写入	事务加many写入
1万	  26.7s	   1.7s	      0.5s
10万	  266s	   19s	      5s
100万 2553s	   165s	      49s

将autocommit设置为true,执行insert时会直接写入数据库,否则在execute 插入命令时,默认开启事物,必须在最后commit,这样操作实际上减慢插入速度
此外还需要注意的是mysql的数据库存储引擎如果是MyISAM,那么是不支持事务的,InnoDB 则支持事务
'''
import time
import sys
import mysql.connector
reload(sys)
sys.setdefaultencoding('utf-8')

config = {
        'host': '127.0.0.1',
        'port': 3306,
        'database': 'testsql',
        'user': 'root',
        'password': 'sheng',
        'charset': 'utf8',
        'use_unicode': True,
        'get_warnings': True,
        'autocommit':True
    }

conn = mysql.connector.connect(**config)
cur = conn.cursor()

def time_me(fn):
    def _wrapper(*args, **kwargs):
        start = time.time()
        fn(*args, **kwargs)
        seconds = time.time() - start
        print u"{func}函数每{count}条数数据写入耗时{sec}秒".format(func = fn.func_name,count=args[0],sec=seconds)
    return _wrapper

#普通写入
@time_me
def ordinary_insert(count):
    sql = "insert into stu(name,age,class)values('test mysql insert',30,8)"
    for i in range(count):
        cur.execute(sql)



#批量
@time_me
def many_insert(count):
    sql = "insert into stu(name,age,class)values(%s,%s,%s)"

    loop = count/20
    stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
    #并不是元组里的数据越多越好
    for i in range(loop):
        cur.executemany(sql, stus)

#事务加批量
@time_me
def transaction_insert(count):
    sql = "insert into stu(name,age,class)values(%s,%s,%s)"
    insert_lst = []
    loop = count/20

    stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
                 ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
                 ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
    #并不是元组里的数据越多越好
    for i in range(loop):
        insert_lst.append((sql,stus))
        if len(insert_lst) == 20:
            conn.start_transaction()
            for item in insert_lst:
                cur.executemany(item[0], item[1])
            conn.commit()
            print '0k'
            insert_lst = []

    if len(insert_lst) > 0:
        conn.start_transaction()
        for item in insert_lst:
            cur.executemany(item[0], item[1])
        conn.commit()

def test_insert(count):
    ordinary_insert(count)
    many_insert(count)
    transaction_insert(count)

if __name__ == '__main__':
    if len(sys.argv) == 2:
        loop = int(sys.argv[1])
        test_insert(loop)
    else:
        print u'参数错误'





版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Python MySQLdb 循环插入execute与批量插入executemany性能分析

用Python连接MySQL数据库时,会用到MySQLdb库,这里下载↓↓↓ https://pypi.python.org/pypi/MySQL-python/ 这个库提供了对数据库...

用python做自动化测试--数据库的自动化测试(2)

Python 连接mysq, vertical数据库的示例

python读取数据库准备性能测试账号数据

做一个系统的测试,需要根据总测试人数按比例准备各个部门的测试的账号,其中的账号数据都从SQL Server中读取。为了简化工作,制作了一个python脚本。可以生成LoadRunner参数化中使用的d...

python3.6 使用 pymysql 连接 Mysql 数据库及 简单的增删改查操作

折腾好半天的数据库连接,由于之前未安装 pip ,而且自己用的python 版本为3.6. 只能用 pymysql 来连接数据库,(如果有和我一样未安装 pip 的朋友请 点这里  ),下边 简单介绍...

Python向MySQL批量插入数据

转自http://www.jb51.net/article/46889.htm # -*- coding: utf-8 -*- ''' Created on 2013年12月9日 @aut...
  • lrc803
  • lrc803
  • 2015年07月26日 19:12
  • 3258

python向mySQL批量插入数据的方法

通过调用mySQLdb python库中的 cursor.executemany()函数完成批量处理。 今天用这个函数完成了批量插入 例程: def test_insertDB(): ...
  • co_diy
  • co_diy
  • 2012年02月07日 14:32
  • 27170

Python批量导入文本数据到数据库的方法

最近在工作中碰到一个问题,需要快速的将一些历史数据导入到数据库中(CSV格式),经过考虑决定使用python来实现。 主要需要解决以下两个问题: 1、CSV格式的解释 2、数据的批量写入(性能考...

Linux下和MySQL下利用python插入亿万级数据

下载mysqldb首先必须下载mysqldb,下载语句是yum install MySQL-python不熟悉yum的自行百度吧,嘿嘿。 安装之后,在命令行输入 #>>>python #接下来是py...

Python最简单的一个接口自动化框架

Python最简单的一个接口自动化框架.

Python中元组,列表,字典的区别

转自:http://blog.sina.com.cn/s/blog_967e337b0101282f.html
  • yasi_xi
  • yasi_xi
  • 2014年08月05日 13:09
  • 33723
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:python 测试mysql写入性能
举报原因:
原因补充:

(最多只允许输入30个字)