入库时去重的java代码_JAVA数据批量插入场景问题 （一） 去重解决方案

目录

一、批量插入常用场景举例

二、为什么需要去重

三、开发建议

四、去重方案举例

一、批量插入常用场景举例

Excel数据导入

数据批量同步

业务操作批量提交

....

二、为什么需要去重

业务需要，业务脏数据无意义。

降低风险，脏数据可能会带来的程序的错误。

方便运维，脏数据积累会提高运维成本。

方便开发，不管是开发还是二次开发，干净的数据往往都是我们最想要的。

...

三、开发建议

了解业务，从需求分析阶段了解业务上的数据唯一性，在详细设计阶段约定数据唯一性。

为表建立唯一索引约束条件，对于触发约束条件场景进行了解分析。

...

四、去重方案举例

场景描述一：

我们开发的系统需要调用A系统一个数据接口，接口提供列表数据，数据需要批量入库，入库时发现报数据库唯一约束异常，假定A系统不给我们去重，我们需要自己进行去重，该怎么解决？

通过hashset进行对象去重(持久层用的mybatis)

关键代码：

1、对插入对象重写hashCode 和equals方法

@Override

public int hashCode() {

log.debug("hashCode:" + this.uniqueStr);

//-- 对约定的唯一条件生成hashCode (可多个条件组合)

return