sqlserver大批量数据插入 BULK INSERT

业务需求需要批量插入大量数据,最开始使用java多线程进行插入,由于后期接入数据量越来越多导致数据入库不及时,且数据库经常异常卡死。

现在采用sqlserver的 bulk insert 批量插入数据,经过测试 8.5W条数据实际插入时间耗时 0.5~0.6s之间,相比之前多线程插入速度提升数十倍

//插入语句如下  此处csv路径为数据库服务器上的绝对路径

BULK insert bulk_insert from 'E:\data\heavy\GRID_202011161200.csv' WITH
(
    FIRSTROW = 2,
    FIELDTERMINATOR = ',',  --csv 字段分隔符
    ROWTERMINATOR = '\n',   --csv 换行符
    TABLOCK
)

备注: csv文件需要存放至sqlserver服务器硬盘上,否则sqlserver无法找到文件插入,如果担心空间损耗可以在插入后直接删除csv文件。

文件写入到数据库服务器可以通过windows文件夹自带的共享功能开通共享权限,挂载到业务服务器即可。

表中的自增序列可以用一行空数据代替

csv字段顺序必须与数据库字段顺序一一对应