转载请注明来源-作者@loongshawn:http://blog.csdn.net/loongshawn/article/details/52387986
1、背景说明
最近遇到一个问题,数据结构一致,存在重复,每批次数千的数据量。想到两种方式来处理:一种是一条一条插入,另一种方式通过批量插入MySQL。
2、批量入库
常规一条一条入库没啥问题,主要看看批量入库及排重。首先看看熟悉的批量操作语句:
<insert id="insertProvince" parameterType="java.util.List">
INSERT INTO
province
(
<include refid="provinceColumn" />
)
VALUES
<foreach collection="list" item="item" index="index" separator=",">
(
#{item.province_name},
#{item.province_code},
#{item.quarter_id}
)
</foreach>
</insert>
上面的SQL实现了批量入库,但是重复数据依然会进入数据库,接下来我们看看如何过滤掉重复数据。先来看看