【已验证】SqlBulkCopy 执行批量插入的时候报超时问题-解决办法

把datatable里面的数据插入到数据库,但是数据量大的情况下批量插入会提示超时,所以把datatable的数据分批写入数据库的

using (SqlConnection connection = new SqlConnection(ConnectionString))
            {
                connection.Open();

                int pageSize = 100000;//SqlBulkCopy大数据量的时候会超时,所以这里10万一次
                int count = dt.Rows.Count / pageSize;
                for (int i = 0; i <= count; i++)
                {
                    using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
                    {
                        try
                        {
                            // Set the timeout.
                            bulkCopy.BulkCopyTimeout = 0;//默认为 30 秒。 值为 0 表示没有限制;大容量复制将无限期等待。
                            DataTable tmpDt = dt.AsEnumerable().Skip(i * pageSize).Take(pageSize).CopyToDataTable();
                            bulkCopy.DestinationTableName = "表名";
                            bulkCopy.BatchSize = tmpDt.Rows.Count;

                            bulkCopy.WriteToServer(tmpDt);

                        }
                        catch (Exception ex)
                        {
                            throw ex;
                        }
                    }
                }

            }

超时之前操作完成所允许的秒数。

注解

如果操作超时,则不会提交事务,并且将从目标表中删除所有复制的行。

  • 11
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要将Excel数据插入SqlServer中并避免重复数据,可以使用以下步骤: 1. 将Excel数据读取到DataTable中。 2. 在DataTable中检查是否存在重复数据,如果存在则删除重复数据。 3. 使用SqlBulkCopy将数据插入到SqlServer中。 以下是示例代码: ```csharp using System.Data; using System.Data.OleDb; using System.Data.SqlClient; //连接Excel文件 string connString = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=D:\\sample.xlsx;Extended Properties=\"Excel 12.0;HDR=YES;IMEX=1\""; OleDbConnection excelConn = new OleDbConnection(connString); excelConn.Open(); //读取Excel数据到DataTable中 string sql = "SELECT * FROM [Sheet1$]"; OleDbDataAdapter adapter = new OleDbDataAdapter(sql, excelConn); DataTable excelData = new DataTable(); adapter.Fill(excelData); excelConn.Close(); //检查是否存在重复数据 for (int i = excelData.Rows.Count - 1; i >= 0; i--) { DataRow row = excelData.Rows[i]; if (IsDuplicate(row)) { excelData.Rows.Remove(row); } } //将数据插入到SqlServer中 string sqlServerConnString = "Data Source=.;Initial Catalog=TestDB;Integrated Security=True;"; SqlConnection sqlServerConn = new SqlConnection(sqlServerConnString); sqlServerConn.Open(); SqlTransaction tran = sqlServerConn.BeginTransaction(); try { using (SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlServerConn, SqlBulkCopyOptions.Default, tran)) { bulkCopy.DestinationTableName = "Person"; bulkCopy.ColumnMappings.Add("Name", "Name"); bulkCopy.ColumnMappings.Add("Age", "Age"); bulkCopy.WriteToServer(excelData); } tran.Commit(); } catch (Exception ex) { tran.Rollback(); throw ex; } finally { sqlServerConn.Close(); } //检查是否存在重复数据的方法 private bool IsDuplicate(DataRow row) { string name = row["Name"].ToString(); int age = int.Parse(row["Age"].ToString()); string sql = "SELECT COUNT(*) FROM Person WHERE Name=@Name AND Age=@Age"; using (SqlConnection conn = new SqlConnection(sqlServerConnString)) { SqlCommand cmd = new SqlCommand(sql, conn); cmd.Parameters.AddWithValue("@Name", name); cmd.Parameters.AddWithValue("@Age", age); conn.Open(); int count = (int)cmd.ExecuteScalar(); if (count > 0) { return true; } else { return false; } } } ``` 以上代码中使用了IsDuplicate方法来检查是否存在重复数据,该方法查询了目标表中是否存在相同的Name和Age值。如果存在则返回true,否则返回false。在使用SqlBulkCopy插入数据时,应该先将Excel数据读取到DataTable中,然后在DataTable中检查是否存在重复数据,最后再将数据插入到SqlServer中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值