最近有个需求,需要有两张表,必须要么一起成功,要么一起失败。这个时候,mysql的事务就有发挥的机会了。
事务实现起来,要么一起成功,要么一起失败。
我的操作是一张表更新状态,一张表插入一条数据,失败了需要回滚,成功了那就成功了。还有一个条件,更新的那张表大约有200万条数据,插入的那张表15万条数据。我需要得出在这种场景之下的mysql的插入性能统计。
第一件事模拟数据:
200万条数据插入,如果采用每个sql插入一条,真的太慢了,这里采用sql的批量插入,先上结果,再公布插入方法:
这里插入了100万条数据,花费了42秒,完全可以接受了,数据库截图:
由于我还需要100万条,所以我再把程序执行一遍,现在有200万数据了
再用同样的方法,在另外一张表插入15万条数据,这里公布一下插入的代码:核心在批量插入,那个类是我自己封装的,就当伪代码看吧。
DBMysql dBMysql = new DBMysql();
dBMysql.ConnectDB("10.10.13.140", 3306, "root", "sa", "testdb");
string strdata = "('C:/Users/shenwei/Desktop/tool/tool/csharp/ArrayInit/ArrayInit/Properties/1.test',60000000,1,1)";
string str100Sql = "insert into RecordPiece(Path,size,status,recordlun) VALUES " + strdata;
for(int i =0;i<10000;i++)
{
str100Sql = str100Sql + ","+strdata;
}
var tt = DateTime.Now;
for (int i = 0;i<100;i++)
{
dBMysql.SqlExe(str100Sql);
}
Console.WriteLine((DateTime.Now - tt).TotalMilliseconds);
第二件事模拟实际使用频率进行事务处理:
根据计算,我的项目需求为每秒执行2条事务,通过测试,我们大约70毫秒执行一共事务,每秒可以执行14次左右,基本上可以满足我们的需求。
上一下事务执行的代码:
if(!isConnect())
{
return false;
}
using (var trans = m_Conn.BeginTransaction())
{
try
{
foreach (var sql in listsql)
{
using (var cmd = new MySqlCommand(sql, m_Conn, trans))
{
cmd.ExecuteNonQuery();
}
//Thread.Sleep(5000);
}
trans.Commit();
}
catch (Exception ex)
{
trans.Rollback();
Console.WriteLine(ex.Message);
return false;
}
}
return true;
由于我计划把数据库的操作放在一个单线程里面,所以不考虑多线程同步的情况,我现在还有一点疑惑,如果执行事务的时候,突然程序崩溃了,会不会影响后续的插入。这里我做一个实验,当程序执行第一条sql之后,直接退出程序,再重新开启程序,看是否能正常插入数据。
实验结果表明:程序异常崩溃后,不影响后续的插入,另外程序前面几次插入的时间间隔大约120毫秒左右,这个性能也是可以接收的。