用.NET SqlBulkCopy类执行批量复制

最新推荐文章于 2020-07-22 13:13:36 发布
最新推荐文章于 2020-07-22 13:13:36 发布
阅读量1.1k 收藏 1
点赞数
文章标签： .net sql server 数据库 string module vb.net

在不同数据源之间转移数据是一个常见的开发任务。如果你应用过SQL Server，就会熟悉bcp（批量复制）命令。

它允许你快速将大型文件批量复制到SQL Server表或视图中。在.NET Framework 1.1中，可以通过SqlCommand对象利用bcp，但.NET Framework 2.0中增加了SqlBulkCopy类来简化这个繁琐的过程。

SqlBulkCopy类

虽然你仍然可以使用t-splbcp命令，但SqlBulkCopy类具有很强的性能优势。你只能使用这个类往SQL Server表中写入数据，但可以使用任何数据源。唯一要注意的地方在于，数据源的内容必须能够加载到一个DataTable对象中。

在详细说明这个类的用法前，我们先简单概括这个类的功能：

  • 单独批量复制操作，可将数据从一个数据源移动到SQL Server表中。
  • 也可执行多个批量复制操作。
  • 在数据库事务中可执行批量复制操作。

MSDN提供更多关于SqlBulkCopy类的方法和属性的细节。其最重要的属性为Destination TableName，最重要的方法为WriteToServer。

DestinationTableName属性指定接受复制记录的表。由于它有一个由三部分组成的名称（database.owningschema.name），因此它遵循SQL Server语法。你可以用它的数据库和所有模式来限制表名称。

数据库通过在连接字符串中指定（通过Initial Catalog值）。另外，如果表名称使用一个下划线或任何其它特殊的字符，你必须使用方括号避免这类名称，如[database.owningschema.name]。

实际上由这个超载的WriteToServer方法执行批量复制。它接受DataTable、DataRow和IDataReader对象为复制数据源。你还可以用DataTable对象包含一个DataRowState值，指定仅复制匹配的行。

下一个Windows控制台应用程序说明从一个数据库表向另一个数据库表复制数据这种非常基本的操作。从它的Employees表往这个表的备份表Employees_bcp中复制数据时，它使用标准的SQL Server 2000 Northwind数据库。

――――――――――――――――――――――――――――

 

查看列表A（列表B中为对应的VB.NET代码）。基本上，这段代码连接到数据库，并将所有值从Employees表读入SqlDataReader对象中。

设定目标表名称后，则使用SqlDataReader对象执行批量复制操作（它作为唯一的参数提交）。你可以检查服务器上的目标表，看数据是否被复制。

执行多次更新并无差异——你只需重复使用SqlDataReader对象即可。在同一个数据库中从一个表往另一个表复制是对bcp的误用。另一方面，从外部文件中输入数据是一个常见的操作。

列表C在将一个文本文件输入到前一个例子中用到的表中时就采用了这个方法。（列表D中是对应的VB.NET代码。）这段代码建立一个新的DataTable对象，为每种数据设立列。

每次读入一行文件，并用逗号分列，每个数据值分配给DataTable中适当的列。接下来，SqlBulkCopy类的ColumnMappings属性允许你使用列名称，将数据源中（我们的DataTable）的一个列映射到目的地。完成映射后，WriteToServer方法使用提交给它的DataTable执行批量操作。

数据移植最佳实践

虽然数据移植是开发者经常要执行的任务，但它并不是一个非常流行的任务。请在文后的讨论部分与.NET社区分享你的最轻松（最糟糕）的数据移植经历和最佳实践。

―――――――――――――――――――――――――――

using System;
 
 
using System.Collections.Generic;
 
 
using System.Text;
 
 
using System.Data.SqlClient;
 
 
namespace BCP {
 
 
class Program {
 
 
static void Main(){
 
 
string cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;";
 
 
using (SqlConnectionconn = new SqlConnection(cString))
{
conn.Open();
SqlCommand comm = new SqlCommand("SELECT EmployeeID, FirstName, LastName, HomePhone FROM Employees;", conn);
SqlDataReader reader = comm.ExecuteReader();
 
 
using (SqlConnection conn2 = new SqlConnection(cString)){
 
 
conn2.Open();
 
 
using (SqlBulkCopy bcp = new SqlBulkCopy(conn2))
{
bcp.DestinationTableName = "dbo.Employees_bcp";
 
 
try {
bcp.WriteToServer(reader);
 
 
} catch (Exception ex) {
Console.WriteLine(ex.Message);
 
 
} finally {
reader.Close();
 
 
} } } } } } }

 

―――――――――――――――――――――――――――

Imports System.Data.SqlClient
 
 
Module Module1
 
 
Sub Main()
 
 
Dim cString As String
cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;"
 
 
Dim conn As New SqlConnection
conn = New SqlConnection(cString)
conn.Open()
 
 
Dim comm As SqlCommand
comm                                                                                   
 
 
Dim reader As SqlDataReader
 
 
reader = comm.ExecuteReader()
 
 
Dim conn2 As SqlConnection
 
 
conn2 = New SqlConnection(cString)
 
 
conn2.Open()
 
 
Dim bcp As SqlBulkCopy
bcp = New SqlBulkCopy(conn2)
bcp.DestinationTableName = "dbo.Employees_bcp"
 
 
Try
bcp.WriteToServer(reader)
 
 
Catch ex As Exception
Console.WriteLine(ex.Message)
 
 
Finally
reader.Close()
 
 
End Try
 
 
End Sub
 
 
End Module

 

 

 

 

 

 

 

using System;
 
 
using System.Collections.Generic;
 
 
using System.Text;
 
 
using System.Data.SqlClient;
 
 
using System.IO;
 
 
using System.Data;
 
 
namespace BCP {
 
 
class Program{
 
 
static void Main(){
 
 
string cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;";
 
 
using (SqlConnectionconn = new SqlConnection(cString)) {
conn.Open();
SqlCommandcomm = new SqlCommand("SELECT FirstName, LastName, HomePhone, Title FROM Employees;", conn);
SqlDataReader reader = comm.ExecuteReader();
 
 
using (SqlConnection conn2 = new SqlConnection(cString)) {
 
 
conn2.Open();
 
 
using (SqlBulkCopybcp = new SqlBulkCopy(conn2)){
DataTabledt = new DataTable();
DataRowdr;
DataColumn dc;
bcp.DestinationTableName = "dbo.Employees_bcp";
 
 
dc = new DataColumn();
dc.ColumnName = "Last";
dt.Columns.Add(dc);
 
 
dc = new DataColumn();
dc.ColumnName = "First";
dt.Columns.Add(dc);
 
 
dc = new DataColumn();
dc.ColumnName = "HomePhone";
dt.Columns.Add(dc);
 
 
dc = new DataColumn();
dc.ColumnName = "Title";
dt.Columns.Add(dc);
StreamReadersr = new StreamReader(@"c:emp.txt");
 
 
string input;
 
 
while ((input = sr.ReadLine()) != null) {
 
 
string[] s = input.Split(new char[] );
dr = dt.NewRow();
dr["Last"] = s[0];
dr["First"] = s[1];
dr["HomePhone"] = s[2];
dr["Title"] = s[3];
dt.Rows.Add(dr);
 
 
}
sr.Close();
 
 
try {
bcp.ColumnMappings.Add("Last", "LastName");
bcp.ColumnMappings.Add("First", "FirstName");
bcp.ColumnMappings.Add("Title","Title");
bcp.ColumnMappings.Add("HomePhone","HomePhone");
bcp.WriteToServer(dt);
 
 
} catch (Exception ex){
Console.WriteLine(ex.Message);
 
 
} finally {
reader.Close();
 
 
} } } } } } }

 

 

 

 

Imports System.Data
 
 
Imports System.Data.SqlClient
 
 
Imports System.IO
 
 
Module Module1
 
 
Sub Main()
 
 
Dim cString As String
 
 
Dim comma As Char
 
 
comma = ","
cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;"
 
 
Dim conn As New SqlConnection
conn = New SqlConnection(cString)
conn.Open()
 
 
Dim comm As SqlCommand
comm = New SqlCommand("SELECT EmployeeID, FirstName, LastName, HomePhone FROM Employees;", conn)
 
 
Dim reader As SqlDataReader
 
 
reader = comm.ExecuteReader()
 
 
Dim conn2 As SqlConnection
 
 
conn2 = New SqlConnection(cString)
 
 
conn2.Open()
 
 
Dim bcp As SqlBulkCopy
bcp = New SqlBulkCopy(conn2)
bcp.DestinationTableName = "dbo.Employees_bcp"
 
 
Try
 
 
Dim dt As DataTable
 
 
Dim dr As DataRow
 
 
Dim dc As DataColumn
dt = New DataTable()
bcp.DestinationTableName = "dbo.Employees_bcp"
 
 
dc = New DataColumn()
dc.ColumnName = "Last"
dt.Columns.Add(dc)
 
 
dc = New DataColumn()
dc.ColumnName = "First"
dt.Columns.Add(dc)
 
 
dc = New DataColumn()
dc.ColumnName = "HomePhone"
dt.Columns.Add(dc)
 
 
dc = New DataColumn()
dc.ColumnName = "Title"
dt.Columns.Add(dc)
 
 
Dim sr As StreamReader
sr = New StreamReader("c:emp.txt")
 
 
Dim input As String
 
 
input = sr.ReadLine()
 
 
While Not (input Is Nothing)
 
 
Dim s As String()
 
 
s = input.Split(comma)
dr = dt.NewRow()
dr("Last") = s(1)
dr("First") = s(2)
dr("HomePhone") = s(3)
dr("Title") = s(4)
dt.Rows.Add(dr)
 
 
input = sr.ReadLine()
 
 
End While
sr.Close()
bcp.ColumnMappings.Add("Last", "LastName")
bcp.ColumnMappings.Add("First", "FirstName")
bcp.ColumnMappings.Add("Title", "Title")
bcp.ColumnMappings.Add("HomePhone", "HomePhone")
bcp.WriteToServer(dt)
 
 
Catch ex As Exception
Console.WriteLine(ex.Message)
 
 
Finally
reader.Close()
 
 
End Try
 
 
End Sub
End Module
使用SQLBulkCopy数据复制数据更快，而且自己手工创建的表（Created Table ）也可以做为复制的原表，向数据库目标表复制！
jwdream2008
关注
ADO.NET 新特性之SqlBulkCopy
骆驼陈陈
04-21 2133
在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中，还是进行不同数据源之间的迁移，都不是很方便。而在.Net2.0中，SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关系数据库或者XML文件，甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类，使用它可以很方便的帮助
[翻译]使用asp.net 2.0中的SqlBulkCopy类批量复制数据
yanhuanwang
04-09 168
原文地址：http://gridviewguy.com/ArticleDetails.aspx?articleID=233[原文源码下载] [翻译]使用asp.net 2.0中的SqlBulkCopy类批量复制数据 原文发布日期：2007.03.01作者：AzamSharp翻译：webabcd介绍：在软件开发中，把数据从一个地方复制到另一个地方是一个普遍的应用。 在很多不同的场合都会执行这个操作，...
.NET中的SqlBulkCopy类用法
a632632的博客
08-19 344
在开发过程中，经常会遇到向数据库插入大量数据的情况，那么如果是百万条数据，一条条的插入实在是太慢了，所以就有了SqlBulkCopy类。 本文中我将示范SqlBulkCopy类的不同应用。 以下面三张表为例： 先讲相同的表结构直接复制数据 从Products_Archive表 复制数据到 Products_Latest表： SqlBulkCopy 包含一个方法 Wr...
ASP.NET之SqlBulkCopy
weixin_34081595的博客
07-11 89
在ASP.NET 2.0中提供了一个新的类SqlBulkCopy类，它在性能上的优势更超过了上面的方法，它可以通过让DataSet或是DataReader中大量的数据通过数据流直接进行装载，然后可以将这些记录添加到指定的数据表中。 　　SqlBulkCopy类只有在SQL Server的表中写入数据，但在使用其它的数据库时，可以通过数据源来使用，SqlBulkCopy类主要包括一个实例方法Wri...
.net使用SqlBulkCopy导入数据
码农
11-15 1132
来自：http://wangfu-02.iteye.com/blog/1485373 .net2.0后ado.net提供了一个快速导入sqlserver的方法sqlbulkcopy.导入效率非常高. 包装了一个简单的sqlbulkcopy类，用于数据从datatable导入到sqlserver.代码如下： using System; using System.Collections.Gen
SqlBulkCopy:SQL 批量复制是 ODBC 批量复制 API 的 .NET 包装器
07-03
5. **执行批量复制**：调用`WriteToServer`方法将数据写入数据库。如果是从DataTable或IDataReader读取数据，可以使用重载版本： ```csharp bulkCopy.WriteToServer(myDataTable); ``` 6. **事务支持**：...
Asp.Net使用Bulk实现批量插入数据
10-25
1. 使用SqlBulkCopy类：这是.NET框架提供的一个类，主要用于高效地将数据从一个源复制到SQL Server数据库表中。通过创建SqlBulkCopy的实例，并设置目标表名称，可以开始批量插入数据的过程。 2. 获取连接字符串：...
.SqlBulkCopy.Extension第三方批量复制插入sqlServer数据库的dll程序集（支持批量数据合并插入）
11-05
Z.SqlBulkCopy.Extension第三方批量复制插入sqlServer数据库的方法-chm帮助文档 Z项目是MIT麻省理工大学的一个项目，其中有很多扩展库，其中一个关于批量导入数据到Sqlserver的方法和程序集，非常不错，很实用。 Z....
批量插入数据使用C#自带SqlBulkcopy类
07-27
在.NET框架中，C#提供了一个非常实用的类——SqlBulkCopy，用于高效地批量插入数据到SQL Server数据库。这个类极大地提升了数据导入的性能，尤其适用于需要处理大量数据的场景。下面我们将深入探讨如何使用...
Z.SqlBulkCopy.Extension第三方批量复制插入sqlServer数据库的方法-C#源代码
11-05
Z.SqlBulkCopy.Extension第三方批量复制插入sqlServer数据库的方法-chm帮助文档 Z项目是MIT麻省理工大学的一个项目，其中有很多扩展库，其中一个关于批量导入数据到Sqlserver的方法和程序集，非常不错，很实用。 Z....
asp.net 使用SqlBulkCopy极速插入数据到 SQL Server
01-19
按这个来算，我们那个发水票的时间就会由 10分钟–>20秒，这可太神奇了。 于是乎，下demo，测试，改成自己一般使用的方法测试，NND，还真可以说是极速。 在此贴上我的Demo:SqlBulkCopy.rar 代码如下: using System; using System.Diagnostics; using System.Data; using System.Data.SqlClient; using Microsoft.ApplicationBlocks.Data; namespace ConsoleAppInsertTest { class Program { static int
Sqlserver批量导入数据的示例(SqlBulkCopy)
03-01
Sqlserver批量导入数据的示例(SqlBulkCopy)，有示例解决方案和说明。
ASP.NET的SqlBulkCopy用法
VictorZhang
04-03 945
微软封装了一个类，号称百万条数据秒插数据库，它就是SqlBulkCopy 现在让我们来看看怎么使用吧 /// /// DataTale整张表数据插入数据 /// /// 要插入的table数据 /// 目标数据表名 /// 必须提供所有的字段 /// 返回成功，或者失败 true o
SqlBulkCopy 使用方法
qq_15785207的博客
07-22 500
using (SqlConnection ss = new SqlConnection(conn)) { ss.Open(); using (var sqltr = ss.BeginTransaction()) //加入事务 { using (SqlBulkCop...
.net SqlBulkCopy 批量添加
qq_38516856的博客
07-24 284
string connectionString    ----获得web.congfig的数据库链接配置 //创建一个本地的数据集合                 DataTable dt = new DataTable();                 dt.Columns.Add("ColumnId");                 dt.Columns.Add("Rol
.NET批量大数据插入性能分析及比较(5.使用SqlBulkCopy)
热门推荐
amandag的专栏
05-04 1万+
.NET批量大数据插入性能分析及比较(5.使用SqlBulkCopy)
sqlserver大批量插入测试数据-sqlbulkcopy
b42242029201的专栏
05-07 929
SqlConnection sqlConn = new SqlConnection(common.parseXmlFile("gjj")); //ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString); sqlConn.Open(); S
高效数据库批量导入：SqlBulkCopy类详解
本文主要介绍.NET Framework 4.6 和 4.5 版本中的SqlBulkCopy类，该类允许高效地向SQL Server表进行批量数据加载，尤其适用于处理1万条以上的数据记录，并能在短时间内完成操作。" SqlBulkCopy类是.NET Framework中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值