C# SqlBulkCopy类大批量数据存入数据库

最近因为要做数据性能优化,原有的数据通过foreach循环插入数据库,由于每循环一次就要和数据库交互一次,性能非常差,用时很长,在网上查阅了一些资料找到了SqlBulkCopy这个类,在原有的数据基础上进行改造,性能非常高。在此将自己的一些使用心得和大家分享:

  private void ForeachTa(DataTable dtF,string id)
    {
 Stopwatch watch = new Stopwatch();
        watch.Start();
        DataTable dt = new DataTable();//准备存放数据的临时表
        //构造表的列
        dt.Columns.Add("ID");
        dt.Columns.Add("MaterialID");
        dt.Columns.Add("BillID");
        dt.Columns.Add("code");
        dt.Columns.Add("Name");
        dt.Columns.Add("Model");
        dt.Columns.Add("MeasureUnit");
        dt.Columns.Add("Price");
        dt.Columns.Add("Provider");
        dt.Columns.Add("LastPrice");
        foreach (DataRow row in dtF.Rows)
        {
            if (row["MaterialID"] == DBNull.Value)
            {
                if (!string.IsNullOrEmpty(row["Price"].ToString()))
                {
                    DataRow rows = dt.NewRow();
                    rows["ID"] = System.Guid.NewGuid().ToString();
                    rows["BillID"] = id;
                    rows["Name"] = row["Name"];
                    rows["Model"] = row["Model"];
                    rows["MeasureUnit"] = row["MeasureUnit"];
                    rows["Price"] = decimal.Parse(row["Price"].ToString());
                    rows["Provider"] = row["Provider"];
                    dt.Rows.Add(rows);
                }
                else
                {
                    DataRow rows = dt.NewRow();
                    rows["ID"] = System.Guid.NewGuid().ToString();
                    rows["BillID"] = id;
                    rows["Name"] = row["Name"];
                    rows["Model"] = row["Model"];
                    rows["MeasureUnit"] = row["MeasureUnit"];
                    rows["Provider"] = row["Provider"];
                    dt.Rows.Add(rows);
                }
            }
            else
            {
                if (!string.IsNullOrEmpty(row["Price"].ToString()))
                {
                    DataRow rows = dt.NewRow();
                    rows["ID"] = System.Guid.NewGuid().ToString();
                    rows["MaterialID"] = row["MaterialID"];
                    rows["BillID"] = id;
                    rows["Code"] = row["Code"];
                    rows["Name"] = row["Name"];
                    rows["Model"] = row["Model"];
                    rows["MeasureUnit"] = row["MeasureUnit"];
                    rows["Price"] = decimal.Parse(row["Price"].ToString());
                    rows["LastPrice"] = decimal.Parse(row["Price"].ToString());
                    rows["Provider"] = row["Provider"];
                    dt.Rows.Add(rows);
                }
                else
                {
                    DataRow rows = dt.NewRow();
                    rows["ID"] = System.Guid.NewGuid().ToString();
                    rows["MaterialID"] = row["MaterialID"];
                    rows["BillID"] = id;
                    rows["Code"] = row["Code"];
                    rows["Name"] = row["Name"];
                    rows["Model"] = row["Model"];
                    rows["MeasureUnit"] = row["MeasureUnit"];
                    rows["Provider"] = row["Provider"];
                    dt.Rows.Add(rows);
                }

            }
        }
        //重点代码处理方式
        string connStr = ConfigurationManager.ConnectionStrings["SqlConnectionString"].ConnectionString;//连接字符串
        using (SqlBulkCopy sqlBulkcopy = new SqlBulkCopy(connStr))
        {
            sqlBulkcopy.DestinationTableName = "表名";//定义需要存入数据库中的相应的表的名称
            sqlBulkcopy.ColumnMappings.Add("ID", "ID");
            sqlBulkcopy.ColumnMappings.Add("MaterialID", "MaterialID");
            sqlBulkcopy.ColumnMappings.Add("BillID", "BillID");
            sqlBulkcopy.ColumnMappings.Add("Code", "Code");
            sqlBulkcopy.ColumnMappings.Add("Name", "Name");
            sqlBulkcopy.ColumnMappings.Add("Model", "Model");
            sqlBulkcopy.ColumnMappings.Add("MeasureUnit", "MeasureUnit");
            sqlBulkcopy.ColumnMappings.Add("Price", "Price");
            sqlBulkcopy.ColumnMappings.Add("LastPrice", "LastPrice");
            sqlBulkcopy.ColumnMappings.Add("Provider", "Provider");
            sqlBulkcopy.WriteToServer(dt);
        }
        watch.Stop();
        }
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
要避免在使用 SqlBulkCopy 导入 Excel 数据SQL 数据库时插入重复数据,可以使用以下步骤: 1. 读取 Excel 文件并将其转换为 DataTable 对象。 ``` using (var package = new ExcelPackage(file)) { ExcelWorksheet worksheet = package.Workbook.Worksheets[0]; DataTable table = new DataTable(); foreach (var firstRowCell in worksheet.Cells[1, 1, 1, worksheet.Dimension.End.Column]) { table.Columns.Add(firstRowCell.Text); } for (var rowNumber = 2; rowNumber <= worksheet.Dimension.End.Row; rowNumber++) { var row = worksheet.Cells[rowNumber, 1, rowNumber, worksheet.Dimension.End.Column]; var newRow = table.Rows.Add(); foreach (var cell in row) { newRow[cell.Start.Column - 1] = cell.Value; } } } ``` 2. 在创建 SqlBulkCopy 对象时,将 KeepIdentity 和 CheckConstraints 选项设置为 true。 ``` SqlBulkCopy bulkCopy = new SqlBulkCopy(connection, SqlBulkCopyOptions.KeepIdentity | SqlBulkCopyOptions.CheckConstraints, null); ``` 3. 在将数据源的列映射到目标表的列时,使用 ColumnMappings 属性,并设置 SourceColumn 和 DestinationColumn 属性。 ``` bulkCopy.ColumnMappings.Add("sourceColumn", "destinationColumn"); ``` 4. 在调用 WriteToServer 方法之前,使用 SqlBulkCopy 的 BatchSize 属性设置每批次传输的行数。 ``` bulkCopy.BatchSize = 1000; ``` 5. 在写入目标表之前,遍历 DataTable 对象中的每行数据,检查是否存在重复数据。 ``` foreach (DataRow row in table.Rows) { // 判断是否存在重复数据 if (!IsDuplicateData(connection, row)) { bulkCopy.WriteToServer(row); } } private bool IsDuplicateData(SqlConnection connection, DataRow row) { // 查询目标表是否已经存在该行数据 // 如果存在,返回 true,否则返回 false return false; } ``` 这样做可以避免插入重复数据,因为在写入目标表之前,会检查是否存在重复数据,如果存在,则不会写入该行数据

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

双叶红于二月花

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值