SqlBulkCopy 插入100W条数据时 属性BatchSize的作用

最新推荐文章于 2024-05-15 13:24:46 发布
最新推荐文章于 2024-05-15 13:24:46 发布
阅读量803 收藏 1
点赞数 2
文章标签： c#
原文链接：http://www.cnblogs.com/mushishi/p/3593986.html
版权

(1)100W条insert语句在一个连接内一句一句加 花了01:17:19.0542805

(2) SqlBulkCopy 插入100W条数据 设置BatchSize=500 耗时：00:03:29 

(3) SqlBulkCopy 插入100W条数据 设置BatchSize=10000 耗时：00:00:48.8999099

(4) SqlBulkCopy 插入100W条数据 设置BatchSize=100000 耗时：00:00:15.7574742 

(5) SqlBulkCopy 插入100W条数据 设置BatchSize=1000000 耗时：耗时：00:00:25.7944188

 

通过上面的可以大概得出 SqlBulkCopy.BatchSize=10*10000 时候的效率最高~  

 

 

转载于:https://www.cnblogs.com/mushishi/p/3593986.html

weixin_30888707
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SqlServer使用SqlBulkCopy批量新增和更新数据，快速高效
深南大道
02-19 3292
using System; using System.Collections.Generic; using System.Data; using System.Linq; using System.Text; using System.Data.SqlClient; using System.Collections; using System.Reflection; using System.Configuration; namespace Magic.Tool { /// <summar.
SqlServer优化之批量插入（SqlBulkCopy、表值参数）
热门推荐
chwenbin的博客
01-20 1万+
之前做项目需要用到数据库的批量插入，于是就研究了一下，现在做个总结。 创建了一个用来测试的Student表： CREATE TABLE [dbo].[Student]( [ID] [int] PRIMARY KEY NOT NULL, [Num] [varchar](10) NULL, [Name] [nvarchar](64) NULL, [Age] [int] NULL )
【SQL Server】7种插入方式的效率对比（史上最全）
羽木落凡的博客
08-27 5449
关于Sqlserver的插入方法已经了解很多，于是打算好好整理一下，并做一个性能上的综合对比。 试验准备： 数据库版本：SqlServer 2008 R2 创建数据库结构如下： CREATE TABLE [UserInfo]( ID int, UserName nvarchar(50), Pwd varchar(50)) 试验过程： 一、正常逐条插入方式 1K条和10W条数据的执行结果如下： 执行代码如下： Console.WriteLine("逐条插入法"); Stopwatch sw = Stopwa
SqlBulkCopy批量插入海量数据
01-14
C# 利用SqlBulkCopy 高性能批量插入海量数据 高效批量插入数据
C#SqlBulkcopy批量插入数据
07-28
使用C#自带SqlBulkcopy类，批量插入数据库，与一般insert into 插入效率相比，插入速度一个天一个地，效果很明显。特别用在导入大量数据时。
SqlBulkCopy(批量复制)方法，高性能批量插入数据
q987661728的博客
07-29 1801
今天主要是想着如何提高批量数据的插入速度，刚好了解到这个SqlBulkCopy方法。 SqlBulkCopy是一种将数据复制到数据库的高性能方法。SqlBulkCopy中有一个WriteToServer， 它用来从数据的源复制数据到数据的目的地。 不过SqlBulkCopy仅支持SQL Server表中批量写入数据。但是数据源不限于SQL Server， 支持各种数据源，只需要将数据源加载到DataTable实例或者是IDataReader实例读取数据......
SqlBulkCopy(批量复制)使用方法
csdn_aspnet的专栏
06-17 1279
SqlBulkCopy提供了一种将数据复制到Sql Server数据库表中高性能的方法。SqlBulkCopy 包含一个方法 WriteToServer，它用来从数据的源复制数据到数据的目的地。 WriteToServer方法可以处理的数据类型有DataRow[]数组，DataTable 和 DataReader。 你可以根据不同的情形使用不同的数据类型。SqlBulkCopy其原理是采用了SQL
SqlServer使用SqlBulkCopy批量插入/更新数据
Todd Li的博客
05-03 6628
#region 自己扩展的方法        /// &lt;summary&gt;        /// 批量插入数据        /// &lt;/summary&gt;        /// &lt;typeparam name="T"&gt;&lt;/typeparam&gt;        /// &lt;param name="list"&gt;&lt;/param&
C#使用SqlBulkCopy批量复制数据到数据表
09-04
主要介绍了C#使用SqlBulkCopy批量复制数据到数据表的方法,较为详细的讲述了SqlBulkCopy批量复制数据到数据表的原理与实现技巧,需要的朋友可以参考下
asp.net 使用SqlBulkCopy极速插入数据到 SQL Server
01-19
在此贴上我的Demo:SqlBulkCopy.rar 代码如下: using System; using System.Diagnostics; using System.Data; using System.Data.SqlClient; using Microsoft.ApplicationBlocks.Data; namespace ...
sqlbulkcopy mysql_SqlBulkCopy 的 Timeout 和 BatchSize
weixin_39928993的博客
02-22 373
在测试中发现 SqlBulkCopy 在数据量大的时候会出现超时报错。Timeout expired with SqlBulkCopy...There are two ways to fix this error:1) Increase Timeout by default it is 30 secondsqlBulkCopy.BulkCopyTimeout = {time in seconds}...
【物流系统】——C#Oracle批量导入(二)OracleBulkCopy
漫漫长途，终有回转；余味苦涩，终有回甘
03-09 6509
前提     上一版的导入十分麻烦，2W的数据量和死机了似得。经过不断的探索，终于搞出了优化后的一版，优化之后用时不超过5秒。下面就是demo了，哈哈。     因为我在解析完xml之后把所有的数据都放到list中了，但是使用OracleBulkCopy，实现就是表和表之间的复制，就是把数据放到DataTable中，然后直接复制到数据库对应的表中。 OracleBulkCopy使用 所以利
数据库调优过程（一）：SqlServer批量复制(bcp)[C#SqlBulkCopy]性能极低问题
weixin_34335458的博客
06-30 390
背景 　　最近一段给xx做项目，这边最头疼的事情就是数据库入库瓶颈问题。  环境 　　服务器环境：虚拟机，分配32CPU，磁盘1.4T，4T,5T，6T几台服务器不等同（转速都是7200r），内存64G。 排查步骤 　　排查一：数据库恢复模式为简单模式，数据库和tempdb的初始大小。数据库文件初始化大小100G，日志文件初始化大小50G，两个文件都是自动增长（按...
SqlBulkCopy 执行批量插入的时候报超时问题
兰給的博客
04-06 1612
我这里的场景是把datatable里面的数据插入到数据库，但是数据量大的情况下批量插入会提示超时，所以把datatable的数据分批写入数据库的 ​ using (SqlConnection connection = new SqlConnection(SQLServerDAL.Public.PubConstant.ConnectionString)) { connection.Open(); int pageSi
SqlBulkCopy 的 Timeout 和 BatchSize
chengonggang9175的博客
05-11 1003
在测试中发现 SqlBulkCopy 在数据量大的时候会出现超时报错。 http://stackoverflow.com/questions/4535536/timeout-expired-with-sqlbulkcopy Timeout expired with SqlBulkCopy...
C# 使用 SqlBulkCopy 类批量复制数据到数据库
weixin_33915554的博客
05-22 132
最近公司需要优化导入的问题，由于之前使用的方式是生成 Insert 语句插入数据库，数据量小的时候还行，但是随着发展数据量渐渐大了，之前的方法性能就跟不上了，于是发现了SqlBulkCopy 这个类。 使用 SqlBulkCopy 类只能向 SQL Server 表写入数据。但是，数据源不限于 SQL Server；可以使用任何数据源，只要数据可加载到 DataTable实例或可使用 IDa...
C#数据库密码加密保存和登录验证方法
最新发布
一只没有感情的AI机械猿
05-15 929
加盐处理在密码加密中非常重要，可以有效地防止彩虹表攻击和其他形式的密码破解。通过使用BCrypt库，可以轻松实现加盐和密码哈希，提高Web应用程序的安全性。使用BCrypt.Net库，可以非常方便地进行加盐处理和密码哈希。在用户登录时，比较输入的密码加密值与数据库中存储的加密值。// 验证输入的密码与存储的哈希值是否匹配。// 自动生成盐值并进行哈希处理。// 生成带盐值的密码哈希。
mysql的sqlbulkcopy_C# SqlBulkCopy 避免插入重复数据（不重复即插入）
06-11
要避免插入重复数据，可以使用 SqlBulkCopyOptions 枚举类型中的 KeepIdentity 和 CheckConstraints 选项，以及 SqlBulkCopy 类中的 ColumnMappings 属性。 具体步骤如下： 1. 在创建 SqlBulkCopy 对象时，将 KeepIdentity 和 CheckConstraints 选项设置为 true。 ``` SqlBulkCopy bulkCopy = new SqlBulkCopy(connection, SqlBulkCopyOptions.KeepIdentity | SqlBulkCopyOptions.CheckConstraints, null); ``` 2. 在将数据源的列映射到目标表的列时，使用 ColumnMappings 属性，并设置 SourceColumn 和 DestinationColumn 属性。 ``` bulkCopy.ColumnMappings.Add("sourceColumn", "destinationColumn"); ``` 3. 在调用 WriteToServer 方法之前，使用 SqlBulkCopy 类的 BatchSize 属性设置每批次传输的行数。 ``` bulkCopy.BatchSize = 1000; ``` 4. 调用 WriteToServer 方法将数据写入目标表。 ``` bulkCopy.WriteToServer(dataTable); ``` 这样做可以避免插入重复数据，因为在写入目标表之前，SqlBulkCopy 会根据目标表的主键或唯一约束检查数据是否重复，并忽略重复的数据行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值