c# mysql 批量导入_"C#"：MySql批量数量导入

现在对数据库(以MySql为例)的操作大多会封装成一个类，如下例所示：

namespace TESTDATABASE

{

public enum DBStatusCode { ALL_OK, MySqlExcuteErr }

public class TestDB

{

private string hostIp;

private string dbName;

private string dbUser;

private string dbPasswd;

private MySqlConnection dbConn;

public TestDB()

{

this.initConn();

}

~TestDB()

{

dbConn.Dispose();

}

void initConn()

{

dbName = "testDB";

hostIp = "127.0.0.1";

dbUser = "root";

dbPasswd = "root";

string connString; // Connection string。数据库连接字符串大全：http://www.connectionstrings.com/

connString = "SERVER=" + hostIp + ";" + "DATABASE=" +

dbName + ";" + "UID=" + dbUser + ";" + "PASSWORD=" + dbPasswd + ";";

dbConn = new MySqlConnection(connString);

}

// Open connection

public void openConn()

{

if (dbConn.State == ConnectionState.Closed)

dbConn.Open();

}

// Close connection

public void closeConn()

{

if (dbConn.State == ConnectionState.Open)

dbConn.Dispose();

}

// Insert

public DBStatusCode insertTest(ItermList itemList)

{

DBStatusCode flag = DBStatusCode.ALL_OK;

openConn();

string cmdText = "insert into testTable (c1, c2, c3, c4)"

+ "VALUES (@c1, @c2, @c3, @c4)";

MySqlCommand cmd = new MySqlCommand(cmdText, dbConn);

try

{

foreach (Item item in itemList)

{

cmd.Parameters.Clear(); // it is needed

cmd.Parameters.AddWithValue("@c1", item.c1);

cmd.Parameters.AddWithValue("@c2", item.c2);

cmd.Parameters.AddWithValue("@c3", item.c3);

cmd.Parameters.AddWithValue("@c4", item.c4);

cmd.ExecuteNonQuery();

}

}

catch (Exception ex)

{

flag = DBStatusCode.MySqlExcuteErr;

}

finally

{

cmd.Dispose();

}

closeConn();

return flag;

}

}

}

上边例子涉及到对MySql数据库的数据导入。可以看出(56~60)，每循环一次，就会对数据库插入一次。当数据量比较小时，可能还看不出软件的卡顿现象；当数据量很大时，整个软件可能就会卡住几分钟了。所以，我们最好是当所有数据都准备好时，再一次性向数据库定入，以减少插入次数，以最终减少数据导入时间。而且，我们还想，在数据库插入失败的情况下还能够回滚。下边是改进的函数：

// Insert

public DBStatusCode insertTest(ItermList itemList)

{

DBStatusCode flag = DBStatusCode.ALL_OK;

openConn();

string cmdText = "insert into testTable (c1, c2, c3, c4)"

+ "VALUES (@c1, @c2, @c3, @c4)";

MySqlCommand cmd = new MySqlCommand(cmdText, dbConn);

MySqlTransaction tx = this.dbConn.BeginTransaction();

cmd.Transaction = tx;

try

{

foreach (Item item in itemList)

{

cmd.Parameters.Clear(); // it is needed

cmd.Parameters.AddWithValue("@c1", item.c1);

cmd.Parameters.AddWithValue("@c2", item.c2);

cmd.Parameters.AddWithValue("@c3", item.c3);

cmd.Parameters.AddWithValue("@c4", item.c4);

cmd.ExecuteNonQuery();

}

tx.Commit();

}

catch (Exception ex)

{

flag = DBStatusCode.MySqlExcuteErr;

tx.Rollback();

}

finally

{

cmd.Dispose();

}

closeConn();

return flag;

}

这里的改进可以说还只是初步的。当数据特别大时，这种方法就会出问题了。因为计算机要一次性把非常多的数据插入到数据库，有可能因为内存不足等原因而导致最终导入时间过长等。所以，在有一些情况下，我们还得分批提交(tx.Commit())，例如每1000个数据提交一次，这样就能够大大减轻计算机和数据库负担了。

关于MySql事务介绍资料：

关于批量插入数据，可参考的资源还有：

mysql批量数据导入探究

最近工作碰到一个问题,如何将大量数据(100MB+)导入到远程的mysql server上. 尝试1: Statement执行executeBatch的方法.每次导入1000条记录.时间为12s/10 ...

MySQL批量导入Excel数据

MySQL批量导入Excel数据 1.确定需要导入数据的表名称以及字段,然后在新建的Excel表中,按照表字段正确排序:(注:(Excel文件的名称最好和数据库的名称一致,sheet表的名字最好和表名 ...

MySQL批量导入Excel、txt数据

MySQL批量导入Excel.txt数据 我想Excel是当今最大众化的批量数据管理软件了吧,所以我们会经常涉及到将Excel中数据导入到MySQL中的工作.网上有一些关于直接将Excel导入MySQ ...

文件批量加密重命名--python脚本AND mysql命令行导入数据库

在考试中学生交上来的报告,需要进行一下文件名加密,这样阅卷老师就不知道是谁的报告了 在百度帮助下,完成了加密和解密脚本, 加密 #!/usr/bin/python # -*- coding: utf- ...

【转】MySQL批量SQL插入各种性能优化

原文:http://mp.weixin.qq.com/s?__biz=MzA5MzY4NTQwMA==&mid=403182899&idx=1&sn=74edf28b0bd29 ...

高并发简单解决方案————redis队列缓存+mysql 批量入库(ThinkPhP)

问题分析 问题一:要求日志最好入库:但是,直接入库mysql确实扛不住,批量入库没有问题,done.[批量入库和直接入库性能差异] 问题二:批量入库就需要有高并发的消息队列,决定采用redis lis ...

转载：【高并发简单解决方案 | 靠谱崔小拽 】redis队列缓存 + mysql 批量入库 + php离线整合

需求背景:有个调用统计日志存储和统计需求,要求存储到mysql中:存储数据高峰能达到日均千万,瓶颈在于直接入库并发太高,可能会把mysql干垮. 问题分析 思考:应用网站架构的衍化过程中,应用最新的框 ...

完美转换MySQL的字符集 Mysql 数据的导入导出，Mysql 4.1导入到4.0

MySQL从4.1版本开始才提出字符集的概念,所以对于MySQL4.0及其以下的版本,他们的字符集都是Latin1的,所以有时候需要对mysql的字符集进行一下转换,MySQL版本的升级.降级,特别是 ...

redis 队列缓存 + mysql 批量入库 + php 离线整合

问题分析 思考:应用网站架构的衍化过程中,应用最新的框架和工具技术固然是最优选择:但是,如果能在现有的框架的基础上提出简单可依赖的解决方案,未尝不是一种提升自我的尝试. 解决: 问题一:要求日志最好入 ...

随机推荐

java 多线程 4 线程池

系统启动一个新线程的成本是比较高的,因为它涉及到与操作系统的交互.在这种情况下,使用线程池可以很好的提供性能,尤其是当程序中需要创建大量生存期很短暂的线程时,更应该考虑使用线程池. 与数据库连接池类似 ...

Java之方法重载(笔记)

Java是根据参数类型和个数的不同实现重载. 1.当参数类型是基本类型,但不完全匹配. void test(int i) { } void test(float f) { } public stati ...

Guava缓存器源码分析——缓存统计器

Guava缓存器统计器实现: 全局统计器——         1.CacheBuilder的静态成员变量Supplier CACHE_STATS_COUNTER ...

Go 定时任务

本文基于Golang Crontab 实现了一个Crontab Job Manager.更加容易使用,同时也能够满足更加复杂的场景. 仓储地址, 如果有用,欢迎点赞,欢迎讨论,欢迎找茬. 需求 在开发 ...

Oracle设置某张表为只读

Oracle 11g开始支持设置某张表为只读,这样可以防范对某些表的修改,起到一定的安全性. 设置如下: --设置表为只读权限(加锁) ALTER TABLE tab_name READ ONLY ; ...

Msf提权步骤

1.生成反弹木马(脚本,执行程序) msfvenom -p windows/meterpreter/reverse_tcp LHOST= LPORT=&l ...

在ASP.NET MVC应用中开发插件框架(中英对照)

[原文] Developing a plugin framework in ASP.NET MVC with medium trust [译文] 在ASP.NET MVC应用中开发一个插件框架 I’v ...

jenkins设置CSRF 协议(CRUMB值设置)

在关闭“”调用出现Error 403 No valid crumb was included in the request 第一种解决方式是 关闭 csrf,如上图,去掉勾就可以,但是并不推荐. 第二 ...

VS Code .vue文件代码缩进以及格式化代码

首先在应用商店中搜索“Vetur”插件安装,然后进行下面操作: 文件->首选项->设置,然后在右边编辑框输入以下设置: { "prettier.tabWidth": 4 ...