DataTable的数据批量写入数据库



最近在将excel中的文件导入到数据库中，用程序进行编写，由于数据量较大所以速度很慢，后来采用了SqlBulkCopy类，解决了速度的问题，我就insert语句,sqldataadapter.update(dataset,tablename);sqlbulkcopy.WriteToServer(datatable);三个方法的性能进行比较：

1、生成测试的datatable表，表结构如下：

UniqueID(主键，自动增长)  |  CompanyName  |  CompanyCode  |  Address  |  Owner  |  Memo

共6个字段。

 SqlConnection sqlconnection = new SqlConnection(connectionString);
 SqlDataAdapter sqldataadapter = new SqlDataAdapter("select * from Table_1 where 1=2", sqlconnection);
 DataSet dataset = new DataSet();
 sqldataadapter.Fill(dataset, "Table_1");
 DataTable datatable = dataset.Tables[0];
  //生成20000条记录

  for (int i = 0; i < 20000; i++)
  {
          DataRow datarow = datatable.NewRow();
          datarow["CompanyName"] = "companyname"+string.Format("{0:0000}",i);
          datarow["CompanyCode"] = "companycode" + string.Format("{0:0000}", i);
          datarow["Address"] = "address" + string.Format("{0:0000}", i);
          datarow["Owner"] = "owner" + string.Format("{0:0000}", i);
          datarow["Memo"] = "memo" + string.Format("{0:0000}", i);

          datatable.Rows.Add(datarow); 
  }

 

2、使用sqlcommand.executenonquery()方法插入

foreach (DataRow datarow in datatable.Rows)
{
string sql = "INSERT INTO [Table_1]

([CompanyName],[CompanyCode],[Address],[Owner],[Memo])" +
"VALUES('" + datarow["CompanyName"].ToString() + "'" +
",'" + datarow["CompanyCode"].ToString() + "'" +
",'" + datarow["Address"].ToString() + "'" +
",'" + datarow["Owner"].ToString() + "'" +
",'" + datarow["Memo"].ToString() + "')";
  using (SqlConnection sqlconn = new SqlConnection(connectionString))
  {
      sqlconn.Open();

      SqlCommand sqlcommand = new SqlCommand(sql, sqlconn);
      sqlcommand.ExecuteNonQuery();
      sqlconn.Close();
  }
}

插入20000条记录时间:00:00:29.7336000

 

3、使用sqldataadapter.update(dataset,tablename);

SqlCommand insertcommand = new SqlCommand("INSERT INTO [Table_1]([CompanyName],[CompanyCode],[Address],[Owner],[Memo])" +
 "VALUES(@CompanyName, @CompanyCode,@Address,@Owner,@Memo)",new SqlConnection(connectionString));
 insertcommand.Parameters.Add("@CompanyName", SqlDbType.NChar, 50, "CompanyName");
 insertcommand.Parameters.Add("@CompanyCode", SqlDbType.NChar, 25, "CompanyCode");
insertcommand.Parameters.Add("@Address", SqlDbType.NChar, 255, "Address");
insertcommand.Parameters.Add("@Owner", SqlDbType.NChar, 25, "Owner");
insertcommand.Parameters.Add("@Memo", SqlDbType.NChar, 255, "Memo");
sqldataadapter.InsertCommand = insertcommand;

sqldataadapter.Update(dataset, "Table_1");   

 

插入20000条记录时间:00:00:22.8938000

 

4、使用sqlbulkcopy.writetoserver(datatable)

SqlBulkCopy sqlbulkcopy = new SqlBulkCopy(connectionString, SqlBulkCopyOptions.UseInternalTransaction);
sqlbulkcopy.DestinationTableName = "Table_1";//数据库中的表名

sqlbulkcopy.WriteToServer(dataset.Tables[0]);

 

插入20000条记录时间:00:00:00.3276000

 

所以说速度是sqlbulkcopy最快，sqldataadapter.update()次之，sqlcommand.ExecuteNonQuery()最慢。

 

第一步、建立DataTable

  protected   void  Build_Click( object  sender, EventArgs e)
     {
        DataTable dt = new DataTable("number");
        DataColumn c1 = new DataColumn("numberID", typeof(int));
        DataColumn c2 = new DataColumn("value", typeof(string));
        dt.Columns.Add(c1);
        dt.Columns.Add(c2);
        long baseValue = Convert.ToInt64(TextBox1.Text);
        long topValue = Convert.ToInt64(TextBox2.Text);
        Response.Write(baseValue.ToString());
        for(long i=baseValue;i<topValue;i++)
        {

            DataRow r1 = dt.NewRow();
            r1[0] = Convert.ToInt32(i);
            r1[1] = i.ToString();
            dt.Rows.Add(r1);    
        }
        InsertTable(dt);
       
    }

二、编写插入数据库的方法

public   void  InsertTable(DataTable table1)
     {
        
        string strInsert="insert into Number values (@value)";
        SqlConnection conn = new SqlConnection(ConfigurationManager.AppSettings["connStr"]);
        conn.Open();
        SqlCommand com = new SqlCommand(strInsert, conn);
        SqlParameter p1 = new SqlParameter("@value", SqlDbType.VarChar);
        com.Parameters.Add(p1);
        for(int i=0;i<table1.Rows.Count;i++)
        {
            DataRow row=table1.Rows[i];
            p1.Value=row[1].ToString();
            com.ExecuteNonQuery();
        }
        conn.Close();

    }

通过编写这两个方法，基本的功能就已经实现，不过其间存在一个致命的性能问题，在数据量在相当大的情况下效率会相当的低，所以在Sql Server批量插入数据时（特别是有规律可寻的大数据面前），我们多采用存储过程的方式优化其性能。

CREATE   PROCEDURE  up_number_ins
AS

DECLARE   @base   int
DECLARE   @top   int

SET   @top = 1000
SET   @base = 10

WHILE   @base < @top
BEGIN

   INSERT   INTO   number   VALUES  ( @base )
 
  SET   @base = @base + 1
END
GO

以上代码在针对系统生成指定数据段时，效率相对于前面而言要高出N倍，其具体使用时还得看应用环境和问题，具体问题具体分析，这才是我的实战理论哈