线上大数据量插入主键冲突问题

主键冲突线上问题说明

1 背景

线上客户通过支持问题反馈：线上应用一次性导入一万条数据，有十几条导入失败了。通过导入的文件日志发现失败原因为duplicate primary key，也就是主键冲突了。

2 分析过程

公司有多种id生成策略：mysql自增、16位oid（实例内唯一）、19位oid（所有环境唯一）

领域云和公有云使用的是同一个库，所以领导担心一但开启了19位雪花算法oid，仍在使用领域云的客户，尤其是有他们自己的erp系统的客户他们对接的接口会受到影响（Interger最大为16位，如果我们突然把id改成19位，对方接收后会失去精度）。因此公有云未开启oid开关。这个配置全局统一。

只有在集团框架jar包依赖下，才可使用平台的雪花算法，其次该业务表数据有若干个来源：

1. 领域云的非集团框架工程代码，走mysql自增，当前自增值通过设置与oid做了区分
2. 公有云的非集团框架工程代码
3. 公有云的集团框架工程代码
4. 领域其他部门通过数据源直接插入（不走业务代码，相当于是直接生成sql直接连上数据库执行）

通过对数据库的数据分析，发现新数据存在16位和19交替生成的情况，经排查是来源4，其他部门使用插入数据时，他们使用oid生成工具生成了19位id插入进来的。因此导致生产环境的应用主键自增值已跳到19位。

目前的情况是1、2、4均是19位oid，3因为yms关闭了19位oid开关，mdd工程使用16oid。

再之后从导入相关的文档中了解到，新版导入每500条数据会拆分，单独发送事件（自研消息中间件），再由领域的工程框架代码监听，处理保存逻辑。

之后联系了集团老师要到了16位oid的设计文档，发现16位oid默认是实例内唯一，也就是多实例情况下可能会重复，因为默认的datacentid和workerid相同。集团原本针对16位oid有多实例的解决办法，是基于rabbitmq的实现，但此时，领域已按照集团要求完成了去rabbitmq改造，也就是说这条路已走不通了，需要我们自行解决这个问题。

3 实现思路

16位oid之所以会重复，是因为雪花算法生成器的datacentid和workerid都使用的是默认值，那么按理来说我们只要保证不同实例的datacentid和workerid不同即可保证oid不重复。

跨实例的中间件，优先想到了redis，比如可以使用redis的自增序列号。

具体思路就是：我们自己实现一下IPKGeneratorConfig这个接口，然后在实现类上添加@Primary注解替换掉框架默认的配置实现类。在新的实现类里重写获取id的方法，在这个方法第一次被调用时，使用单例模式来生成一个与其他实例不同的静态的workerid。16位oid的文档中说，workerid选择范围为1~15。综合考虑，我用自增数字除以10取余的方式设置为workerid，我们线上最多也就八九个实例。

@Component
@Primary
public class AutoPKGeneratorConfig implements IPKGeneratorConfig {
    private static final String sequence = "supplyCategorySequence";
    private static final Long circleNum = 10L;
    private static final Logger logger = LoggerFactory.getLogger(AutoPKGeneratorConfig.class);
    private static IdManager idManager;//当前实例的id生成器
    @Autowired
    CacheManager cacheManager;

    public volatile static Long workerId = null;

    private void initWorkerId(){
        if(workerId == null) {//已有生成器就不需要初始化
            synchronized(this){//加锁保证初始化完成后，其他的线程再去获取id
                if (workerId == null){//锁排队后可能上一个线程已完成workerId的赋值，所以这里再判断一下
                    try {
                        Long workIdBak = 1L;
                        Long sequenceNow = cacheManager.incr(sequence);//redis自增编号
                        workIdBak += sequenceNow % circleNum;//除以10取余，作为workerid，保证各个实例不重复
                        idManager = new IdManager(workIdBak, 2L);
                        workerId = workIdBak;//附给全局的生成器
                    } catch (Exception e) {
                        idManager = new IdManager(1L, 2L);//如果真的初始化异常了，我们也提供一个默认的，防止影响到正常业务
                        logger.error(JSON.toJSONString(e.getStackTrace()) + "   redis计数器获取失败");
                    }
                }

            }
        }
    }
       /**
     * 
     * id生成策略配置
     */
    @Override
    public Map <String, KeyIterator> configMap() {
        initWorkerId();//第一次获取id时，走这个初始化方法
        Map<String, KeyIterator> insertEntityPK = new HashMap();
        insertEntityPK.put("number", new KeyIterator() {//"*number"
            @Override
            public Long next() {
                return idManager.nextId();//使用实例内初始化好的静态生成器
            }
        });
        return insertEntityPK;
    }