【SQL】解决 SQLServer SqlBulkCopy 重复问题_sqlbulkcopy批量插入重复键处理-CSDN博客

本文链接：https://blog.csdn.net/weixin_42973143/article/details/103250131

本文介绍了如何使用SQLServer的SqlBulkCopy和MERGE语句来高效导入大量数据，同时避免重复。通过先检查数据库中是否存在相同数据，然后利用DataTable和SqlBulkCopy提高导入速度，最后借助MERGE存储过程确保数据一致性。

摘要由CSDN通过智能技术生成

解决 SQLServer SqlBulkCopy 重复问题

目前程序需要使用到大量的数据存储，导入的数据量每次均为在800-2000之间，并且每条数据需要从接口处获取其他信息并组合成一条完整的数据，耗时，占用大量内存，因此使用该方法能尽快的减少等待时间跟准确率。

先上我的逻辑：

数据集先从数据库当中获取，若是相同的数据则只调用一次接口方法获取数据，循环将数据填充完成，得到一份DataTable 数据集
可使用SqlBulkCopy 方法快速的将数据进行保存到数据库当中
但由于无法判断数据的重复性，并且不想做循环浪费时间的操作去校验数据的内容，因此需要使用SQLServer MERGE 方法进行操作
这个方法写在存储过程当中，起到同步的作用，效果实在棒。

上代码：
C# ：

public void InsertTable(DataTable dt, string TabelName, DataColumnCollection dtColum)
{
               
    //声明数据库连接
    SqlConnection conn = new SqlConnection(SysConfiguration.GetConnectionString());
    conn.Open