C#解析Mysql的sql脚本实现批量导入数据

最新推荐文章于 2024-07-24 08:25:59 发布

开源骑士

最新推荐文章于 2024-07-24 08:25:59 发布

阅读量1.6k

点赞数

分类专栏：日常问题数据库

本文链接：https://blog.csdn.net/u012878073/article/details/84302114

版权

针对数据导入性能问题，文章介绍了从低效的逐条插入到使用事务批量处理的C#代码改进过程，强调了利用事务进行批量操作对提升效率的重要性。

摘要由CSDN通过智能技术生成

最近老大对我们做的数据导入功能意见挺大，数据量一上来，导入时间就很长，严重影响用户体验。因此，不得不花时间捣鼓了一下数据导入的性能优化问题

原始代码：

MySqlCommand command = new MySqlCommand();
command.Connection = conn;
using (StreamReader sr = new StreamReader(new FileStream(sqlFileName, FileMode.Open, FileAccess.Read)))
{
    while(sr.Peek() !=-1)
    {
        string line = sr.ReadLine();
        if(line.StartsWith("insert"))//目前只处理insert语句
        {
            command.CommandText = line;
            command.ExecuteNoQuery();
        }
    }
}

当然，这个代码性能有很大的问题，所以我略施小计形成了第二版代码：

MySqlCommand command = new MySqlCommand();
command.Connection = conn;
List<string> fileLines = new List<string>();
using (StreamReader sr = new StreamReader(new FileStream(sqlFileName, FileMode.Open, FileAccess.Read)))
{
    while(sr.Peek() !=