写在前面
读取大容量文本数据到数据库,可以用流的方式读取到内存然后再拼接成T-SQL语句插入,显然,这个是效率极低的做法。
下面给大家展示一个超快速的大容量读取文本插入Mysql数据库,用的是LOAD DATA
Oracle实现方法点击我
SqlServer实现方法点击我
分三步,第一步创建数据库和表,第二步构造出一个文本数据,第三步读取文本数据到数据库,完整代码在文章结尾处。
第一步:创建数据库和创建数据表
--创建数据库
CREATE DATABASE MDBIArbinXMasterInfo;
--创建数据表
CREATE TABLE Test(
test1 int NULL,
test2 int NULL
)`
第二步:构造测试数据到文本,结果如下图
public static void SetData()
{
//数据的存放路径
string bcpFilePath = Path.Combine(Environment.CurrentDirectory, "test.txt");
StringBuilder stringBuilder = new StringBuilder();
using (StreamWriter sw = new StreamWriter(bcpFilePath))
{
for (int i = 0; i < 1000000; i++)
{
stringBuilder.AppendLine($"{i}, {i}");
}
sw.Write(stringBuilder.ToString());
}
}
第三步:读取文本数据到数据库,结果如下图
public static void BCP_Mysql()
{
//数据的存放路径
string bcpFilePath = Path.Combine(Environment.CurrentDirectory, "test.txt");
//数据库连接字符串
string strConnectionString = $"data source=localhost;database=MDBIArbinXMasterInfo;user id=root;password=arbin;pooling=false;charset=utf8;port=3306";
//BULK INSERT语句(Test是我的数据库表的名称,TERMINATED代表文本中数据列是以逗号隔开的,TERMINATED代表文本中每一行对应数据库表的每一行
string strSqlCmd = $"LOAD DATA LOCAL INFILE '{bcpFilePath}' INTO TABLE Test FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' LINES TERMINATED BY '\n'";
strSqlCmd = strSqlCmd.Replace(@"\", @"/");
IDbConnection Connection = new MySqlConnection();
Connection.ConnectionString = strConnectionString;
IDbCommand Command = new MySqlCommand();
Command.Connection = Connection;
Command.CommandText = strSqlCmd;
Command.CommandType = CommandType.Text;
Command.CommandTimeout = 0;
if (Connection.State != ConnectionState.Open)
{
try
{
Connection.Open();
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
return;
}
}
try
{
Command.ExecuteNonQuery();
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}
}