使用asp.net 2.0中的SqlBulkCopy类批量复制数据

转载 2016年08月30日 18:07:49
    介绍:
在软件开发中,把数据从一个地方复制到另一个地方是一个普遍的应用。 在很多不同的场合都会执行这个操作,包括旧系统到新系统的移植,从不同的数据库备份数据和收集数据。 ASP.NET 2.0有一个SqlBulkCopy类,它可以帮助你从不同的数据源复制数据到SQL SERVER数据库。 本文中我将示范SqlBulkCopy类的不同应用。 


数据库设计: 
这个数据库的设计还是蛮简单的,它基于Northwind数据库的Products表。另外我还在Northwind数据库中创建了3个表。 详情可以看一下下面的数据库关系图。 
        Products_Archive 和Products_Latest有与Products表相同的结构,而Products_TopSelling表则与它们不同。 稍后我将在本文解释Products_TopSelling表的用途。
 
Products_Archive表包含770,000行。 你不用管这些数据是如何得到的,你只需要考虑如何把所有这些数据复制到Products_Latest表里。

从Products_Archive表 复制数据到 Products_Latest表:
SqlBulkCopy 包含一个方法 WriteToServer,它用来从数据的源复制数据到数据的目的地。 WriteToServer方法可以处理的数据类型有DataRow[]数组,DataTable 和 DataReader。 你可以根据不同的情形使用不同的数据类型,但是更多时候选择DataReader是一个比较好的主意。 这是因为DataReader是一个只向前的、只读的数据流,它不会保存数据,所以要比DataTable 和 DataRows[]都要快。 下面的代码的作用是把数据从源表复制到目的表。
 
private static void PerformBulkCopy()    

    string connectionString = @"Server=localhost;Database=Northwind;Trusted_Connection=true"
                                                 
    // 源    
    using (SqlConnection sourceConnection = new SqlConnection(connectionString)) 
    { 
        SqlCommand myCommand = new SqlCommand("SELECT * FROM Products_Archive", sourceConnection); 
        sourceConnection.Open(); 
        SqlDataReader reader = myCommand.ExecuteReader();    
                                 
        // 目的    
        using (SqlConnection destinationConnection = new SqlConnection(connectionString)) 
        { 
            // 打开连接    
            destinationConnection.Open(); 
                                 
            using (SqlBulkCopy bulkCopy = new SqlBulkCopy(destinationConnection.ConnectionString)) 
            { 
                bulkCopy.BatchSize = 500; 
        bulkCopy.NotifyAfter = 1000; 
                bulkCopy.SqlRowsCopied += new SqlRowsCopiedEventHandler(bulkCopy_SqlRowsCopied); 
                bulkCopy.DestinationTableName = "Products_Latest"
                bulkCopy.WriteToServer(reader);                                         
            } 
        } 
 
        reader.Close();                                    
                                 
    }                     
}

这里有一对需要提及的知识点。 首先,我使用DataReader来从数据库的表中读取数据。 Products_Latest是目的表,因为数据要从Products_Archive表复制到Products_Latest表。 bulkCopy对象提供了一个SqlRowCopied事件,在每次处理完NotifyAfter属性指定的行数时发生。 本例中的意思就是每处理完1000行就触发一次该事件,因为NotifyAfter被设置成了1000
 
BatchSize属性是非常重要的,程序性能如何主要就依靠着它。 BatchSize的意思就是同每一批次中的行数,在每一批次结束时,就将该批次中的行发送到数据库。 我将BatchSize设置成了500,其意思就是reader每读出500行就将他们发送到数据库从而执行批量复制的操作。 BatchSize的默认值是“1”,其意思就是把每一行作为一个批次发送到数据库。
 
设置不同的BatchSize在性能上将给你带来不同的结果。 你应该根据你的需求进行测试,来决定BatchSize的大小。

在不同的映射表之间复制数据
在上面的例子中两个表具有相同的结构。 有时,你需要在具有不同结构的表之间复制数据。 假如你要从Products_Archive表中把所有的产品名称及其数量复制到Products_TopSelling表里。 这两个表有着不同的字段名,具体可以看一下上面的“数据库设计”一节下的。
 
private static void PerformBulkCopyDifferentSchema() 

    string connectionString = @"Server=localhost;Database=Northwind;Trusted_Connection=true"
 
    DataTable sourceData = new DataTable(); 
 
    // 源    
    using (SqlConnection sourceConnection = new SqlConnection(connectionString)) 
    { 
        SqlCommand myCommand = new SqlCommand("SELECT TOP 5 * FROM Products_Archive", sourceConnection); 
        sourceConnection.Open(); 
        SqlDataReader reader = myCommand.ExecuteReader(); 
 
        // 目的 
        using (SqlConnection destinationConnection = new SqlConnection(connectionString)) 
        { 
            // 打开连接 
            destinationConnection.Open(); 
 
            using (SqlBulkCopy bulkCopy = new SqlBulkCopy(destinationConnection.ConnectionString)) 
            { 
                bulkCopy.ColumnMappings.Add("ProductID""ProductID"); 
                bulkCopy.ColumnMappings.Add("ProductName""Name"); 
                bulkCopy.ColumnMappings.Add("QuantityPerUnit""Quantity"); 
                bulkCopy.DestinationTableName = "Products_TopSelling"
                bulkCopy.WriteToServer(reader); 
            } 
        } 
 
        reader.Close(); 
 
    } 
}
ColumnMappings集合用于映射源表和目的表之间的列。
从XML文件复制数据到数据库的表中
数据源并不局限于数据库的表,你也可以使用XML文件做数据源。 这里有一个非常简单的使用XML文件做数据源进行批量复制操作的例子。 
(Products.xml)
<?xml version="1.0" encoding="utf-8" ?> 
<Products> 
    <Product productID="1" productName="Chai" /> 
    <Product productID="2" productName="Football" /> 
    <Product productID="3" productName="Soap" /> 
    <Product productID="4" productName="Green Tea" /> 
</Products>
 
private static void PerformBulkCopyXMLDataSource() 

    string connectionString = @"Server=localhost;Database=Northwind;Trusted_Connection=true"
 
    DataSet ds = new DataSet(); 
    DataTable sourceData = new DataTable();    
    ds.ReadXml(@"C:Products.xml"); 
 
    sourceData = ds.Tables[0]; 
 
    // 目的    
    using (SqlConnection destinationConnection = new SqlConnection(connectionString)) 
    { 
        // 打开连接    
        destinationConnection.Open(); 
 
        using (SqlBulkCopy bulkCopy = new SqlBulkCopy(destinationConnection.ConnectionString)) 
        { 
            // 列映射 
            bulkCopy.ColumnMappings.Add("productID""ProductID"); 
            bulkCopy.ColumnMappings.Add("productName""Name"); 
                                         
            bulkCopy.DestinationTableName = "Products_TopSelling"
            bulkCopy.WriteToServer(sourceData); 
        } 
    } 
}
首先把XML文件读进DataTable,然后再使用SqlBulkCopy类的WriteToServer方法。 因为目的表示是Products_TopSelling,所以我们必须执行列映射。 


结论 
本文中我示范了如何使用.NET 2.0引入的SqlBulkCopy类。 SqlBulkCopy类可以非常简单的把数据从一个数据源复制到SQL SERVER数据库。

使用asp.net 2.0中的SqlBulkCopy类批量复制数据

介绍: 在软件开发中,把数据从一个地方复制到另一个地方是一个普遍的应用。 在很多不同的场合都会执行这个操作,包括旧系统到新系统的移植,从不同的数据库备份数据和收集数据。 ASP.NET 2.0有一个...

[翻译]使用asp.net 2.0中的SqlBulkCopy类批量复制数据

介绍: 在软件开发中,把数据从一个地方复制到另一个地方是一个普遍的应用。 在很多不同的场合都会执行这个操作,包括旧系统到新系统的移植,从不同的数据库备份数据和收集数据。 ASP.NET 2.0有一个...

使用ASP.NET 2.0 DetailsView控件处理数据

在前两个星期,我们已经探讨了如何使用ASP.NET 2.0的GridView数据控件查看和操作网页中的数据。(如果你还没看过,现在还来的及,点击这里浏览第一部分和第二部分。)使用GridView控件可...

温故知新ASP.NET 2.0(C#)(8) - DataSourceControl(数据源控件)

http://www.cnblogs.com/webabcd/archive/2007/02/23/654602.html介绍在 ASP.NET 2.0 中有几个新的数据源控件,例如,SqlDataS...
  • plean
  • plean
  • 2011年07月07日 10:41
  • 277

Scott Mitchell 的ASP.NET 2.0数据教程之四十一::实现开放式并发

Scott Mitchell 的ASP.NET 2.0数据教程之四十一::实现开放式并发 http://blog.csdn.net/heker2007/article/details/158...
  • mmhoo
  • mmhoo
  • 2013年01月29日 19:15
  • 409

ASP.NET 2.0 中实现模板中的数据绑定系列

模板化的数据绑定控件为我们在页面上显示数据提供了根本的灵活性。你可能还记得ASP.net v1.x中的几个模板化控件(例如DataList和Repeater控件)。ASP.NET 2.0仍然支持这些控...
  • wyh0318
  • wyh0318
  • 2012年04月10日 13:52
  • 163

Scott Mitchell 的ASP.NET 2.0数据教程之53:从GridView的页脚插入新记录 .

本章英文原版及代码下载: http://www.asp.net/learn/dataaccess/tutorial53cs.aspx?tabid=63 Scott Mitchell 的ASP.NE...

ASP.NET 2.0数据处理之高级分页与排序

GridView控件中的"选择"操作纯粹是一个UI概念,它的SelectedIndex属性与表格的可视数据行中的当前被选中的行的索引相对应。如果你启用了表格的分页和排序功能,在执行分页或排序操作之后,...

使用ASP.NET 2.0 Profile存储用户信息[翻译] Level 200

作者: Stephen Walther 原文地址:http://msdn.microsoft.com/asp.net/default.aspx?pull=/library/en-us/dnvs05/...

使用ASP.NET 2.0中的ReportViewer控件

[翻译]使用ASP.NET 2.0中的ReportViewer控件 原文发布日期:2007.03.22 作者:Bipin Joshi 翻译:webabcd 介绍 任何数据驱动...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:使用asp.net 2.0中的SqlBulkCopy类批量复制数据
举报原因:
原因补充:

(最多只允许输入30个字)