工具
- 读取Excel:NPOI
结果
先直接放出对比吧,数据量,3500多条。
不使用事务 | 使用事务 |
---|---|
18655ms | 55ms |
问题
在目前的项目中,经常需要把外部的数据导入导出到数据库中。但是外部数据导入到数据库中,耗费的时间太长,让人用着特别不爽。测试的数据量为3500条,整个导入到数据库耗时18955ms,差不多就是19秒了,而且数据量并不算大。
后来,经过分析,发现在整个导入数据的过程中,绝大部分的耗时都用在了数据插入到数据的过程中。整个过程一共耗时18955ms,而读取Excel的耗时只有300ms,那么,问题基本就发现了,就是数据导入到数据库的过程中太慢了。
原因
经过我在网上搜索,发现出问题的原因就是:读入一条数据然后就往数据库里面插入一条数据。数据库方面的开销太大了。最好在网上找到了办法,使用事物10000条数据在插入一次,10000条插入是为了防止导入数据量过大,爆内存。
结果
改用事务之后,整个过程耗时只有355ms了,其中读取excel耗时300ms左右,也就是说,插入数据库的过程从18600ms降到了55ms,耗时是没有改用事务之前的的千分之三。其实,可以发现,比较耗时的过程又发生在了读取Excel的过程中了。
SQLite Helper (C#)
private void btCommit_Click(object sender, EventArgs e)
{
using (SQLiteConnection conn = new SQLiteConnection(config.DataSource))
{
using (SQLiteCommand cmd = new SQLiteCommand())
{
conn.Open();
cmd.Connection = conn;
SQLiteHelper sh = new SQLiteHelper(cmd);
int count = sh.ExecuteScalar<int>("select count(*) from product;") + 1;
sh.BeginTransaction();
for (int i = 0; i < 5; i++)
{
var dic = new Dictionary<string, object>();
dic["name"] = "Product " + (count + i);
dic["description"] = "Some description";
dic["status"] = "Active";
sh.Insert("product", dic);
}
sh.Commit();
LoadData(sh);
conn.Close();
}
}
}
不知道是否还可以继续优化