关闭

利用SqlBulkCopy快速大批量导入数据

标签: SqlBulkCopy
1208人阅读 评论(0) 收藏 举报
分类:
实际的开发可能会遇到数据大批量插入数据的问题,若是一条条的循环倒数效率非常低下,这个较好的解决方案
 1
   protected void Button1_Click(object sender, EventArgs e)
 3     {
 4
         DateTime beginTime = DateTime.Now;
         Response.Write("开始时间:" + beginTime.ToString("yyyy年MM月dd日:HH:mm:ss:fff"));
 7
         //构造一个Datatable存储将要批量导入的数据
         DataTable dt = new DataTable();
10         dt.Columns.Add("id", typeof(string));
11         dt.Columns.Add("name", typeof(string));
12
13         // 见识下SqlBulkCopy强悍之处,来个十万条数数据试验
14         int i;
15         for (i = 0; i < 100000; i++)
16         {
17             DataRow dr = dt.NewRow();
18             dr["name"] = i.ToString();
19             dt.Rows.Add(dr);
20         }
21
22         string str = ConfigurationManager.ConnectionStrings["connStr"].ConnectionString.ToString();
23         //声明数据库连接
24         SqlConnection conn = new SqlConnection(str);
25
26         conn.Open();
27         //声明SqlBulkCopy ,using释放非托管资源
28         using (SqlBulkCopy sqlBC = new SqlBulkCopy(conn))
29         {
30             //一次批量的插入的数据量
31             sqlBC.BatchSize = 1000;
32             //超时之前操作完成所允许的秒数,如果超时则事务不会提交 ,数据将回滚,所有已复制的行都会从目标表中移除
33             sqlBC.BulkCopyTimeout = 60;
34
35             //設定 NotifyAfter 属性,以便在每插入10000 条数据时,呼叫相应事件。 
36             sqlBC.NotifyAfter = 10000;
37             sqlBC.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnSqlRowsCopied);
38
39             //设置要批量写入的表
40             sqlBC.DestinationTableName = "dbo.text";
41
42             //自定义的datatable和数据库的字段进行对应
43             sqlBC.ColumnMappings.Add("id", "tel");
44             sqlBC.ColumnMappings.Add("name", "neirong");
45
46             //批量写入
47             sqlBC.WriteToServer(dt);
48         }
49         conn.Dispose();
50         Response.Write("<br/>");
51
52 
53
54         DateTime endTime = DateTime.Now;
55         Response.Write("结束时间:" + endTime.ToString("yyyy年MM月dd日:HH:mm:ss:fff"));
56         TimeSpan useTime = endTime-beginTime;//使用时间
57         Response.Write("<br/>插入时间:"+ useTime.TotalSeconds.ToString()+"秒");
58
59     }
60     //响应时事件
61     void OnSqlRowsCopied(object sender, SqlRowsCopiedEventArgs e)
62     {
63         Response.Write("<br/> OK! ");
64     }
0
0
查看评论

EF结合SqlBulkCopy实现高效的批量数据插入 |EF插件EntityFramework.Extended实现批量更新和删除

批量插入 (17597条数据批量插入耗时1.7秒) using System; using System.Collections.Generic; using System.Linq; using System.Web; using System.Web.Mvc; namespace MvcApp...
  • Fanbin168
  • Fanbin168
  • 2016-05-24 00:55
  • 10615

Java使用SQLServerBulkCopy实现数据库批量操作

Java使用SQLServerBulkCopy实现数据库批量操作
  • educast
  • educast
  • 2017-06-06 15:27
  • 2110

关于批量导入数据类SqlBulkCopy 导入数据时增加额外的列

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Diagnostics; using System.Data.SqlClient; using Sys...
  • LanSeTianKong12
  • LanSeTianKong12
  • 2015-09-25 20:23
  • 382

SQL 把一个数据库里面的某张表里的数据插入到另外一个数据库里面的一张表

SQL 把一个数据库里面的某张表里的数据插入到另外一个数据库里面的一张表,总结了2种方法:   1. 目标及源数据库在同一个DBMS上的情况;       insert into tab1 select * from 数据库名.dbo.tab2; ...
  • fengqingtao2008
  • fengqingtao2008
  • 2015-07-20 18:00
  • 6615

使用SqlBulkCopy批量快速插入大量数据到SQL SERVER

现有一个文本文件,大小为8M多,有大约25W行。每一行文本为一条数据,经过简单的字符串拆分就可以获取每个字段的值。但是,如果使用常规的SqlConnection和SqlCommand来执行插入的话,25W行数据大约会花去20分钟时间,这种效率是及其低下的。 如下代码: string[] line...
  • cqulyk
  • cqulyk
  • 2013-01-16 22:29
  • 1962

SQLBulkCopy使用

这两天在做一个可以转换数据库的小程序,用于将不同结构的两个数据库之间导数据。之前几乎从没有接触过数据库,只会一些简单的删除插入,这次面对复杂的,截然不同的表结构,一时间竟无从下手。百度谷歌都用上了,最后决定使用SQLBulkCopy类。 作为新人,面对一个从没有做过的Demo总是会有种种恐惧,生怕...
  • Baple
  • Baple
  • 2011-12-05 17:05
  • 6149

SqlBulkCopy批量插入数据

SqlBulkCopy介绍          SqlBulkCopy是.NETFramework 2.0新增的类,位于命名空间System.Data.SqlClient下,主要提供把其它数据源的数据有效批量的加载到SQL...
  • u010121883
  • u010121883
  • 2016-01-26 18:06
  • 1358

【批量添加】-SqlBulkCopy语句

之前一直用的拼接sql字符串来进行批量添加,现在才发现有一种更方便快捷性能高的方法来做之前的工作,还能解决之前遇到的问题,不将就才是发现的原动力啊。
  • u013036688
  • u013036688
  • 2015-12-20 14:39
  • 2113

SqlBulkCopy详细使用

string connection = "数据库连接串";             using (SqlConnection sqlconn = new SqlConne...
  • W920274238
  • W920274238
  • 2016-05-13 11:25
  • 1249

SqlBulkCopy 实现原汁原味复制的注意事项

1. SqlBulkCopyOptions.KeepIdentity  必须设置!
  • yenange
  • yenange
  • 2014-06-29 22:23
  • 6895
    个人资料
    • 访问:2418153次
    • 积分:21782
    • 等级:
    • 排名:第407名
    • 原创:325篇
    • 转载:351篇
    • 译文:2篇
    • 评论:189条
    最新评论