并发插入-CSDN博客

引用:https://my.oschina.net/zhanglikun/blog/861474

大并发场景中，写入数据库操作经常遇到的一个问题是重复数据插入问题。假设接口服务接收到三个插入数据请求，实际三个请求要插入的数据是同一份数据(部分核心字段构造惟一条件)，这个时候常规做法很难保证数据不重复插入。

常规做法是，插入数据之前，查询数据库，判断数据是否存在，不存在则插入。

        long time = System.currentTimeMillis() ;

        for (int i = 0; i < 10000; i++) {
            // 连续10次循环将生成相同用户名，以模拟重复插入情况
            final String username = String.format("U%04d" ,i / 10 + 1);
            if(!userService.exists(username)) {
                userService.save(username ,"111111" ,new Date());
            }
        }

        System.out.printf("程序执行耗时：%d 毫秒!" ,System.currentTimeMillis() - time);

在上述示例代码中，插入数据库之前，先查询，如果是单线程情况下，程序是没问题的，不会重复插入，但如果是并发执行的场景下，判断数据是否存在与插入首先不是原子操作，再者集群环境下也无法依靠事务和Lock等方式来控制重复插入问题。

        long time = System.currentTimeMillis() ;
        ExecutorService exec = Executors.newFixedThreadPool(100) ;

        for (int i = 0; i < 10000; i++) {
            // 连续10次循环将生成相同用户名，以模拟重复插入情况
            final String username = String.format("U%04d" ,i / 10 + 1);
            exec.execute(new Runnable() {
                @Override
                public void run() {
                    if(!userService.exists(username)) {
                        userService.save(username ,"111111" ,new Date());
                    }
                }
            });
        }

        exec.shutdown();
        while (!exec.isTerminated()) ;

        System.out.printf("程序执行耗时：%d 毫秒!" ,System.currentTimeMillis() - time);

上述代码证明了这一点，在测试中，每10条插入操作，插入的用户名是相同的，也就是重复记录，在并发情况下，实际测试结果证明先查询再写入的方式是不可行的。

解决该问题的办法有很多，使用队列、分布式锁等都可以解决。队列方式虽然能解决重复写入问题，但部分场景下不适用，如程序要求写入后需要用到插入的数据，比如数据主键等，虽然可以通过主键生成器，插入之前生成主键，但由于可能是重复插入，生成的主键在插入操作判断出重复而丢弃插入请求时，主键将失效，由于是异步程序，接口并不到及时得到反馈，以致于使用了错误的主键参与后续业务，造成问题。所以这里使用分布式锁来解决重复插入问题，分布式锁常用的有zookeeper、redis，这里简单起见使用redis的SETNX命令来实现。

SETNX命令在成功写入数据时，返回1，未成功写入时，返回0，并且该操作是原子的，根据此特性可以实现基于该命令的分布式锁，关于该命令的分布式锁网上有很多资料，涉及到锁的获取和释放，这里没有这么复杂，采用了一种取巧的办法，目的仅用于控制重复数据插入。

    @Test
    public void test_multi_insert() {

        long time = System.currentTimeMillis() ;
        ExecutorService exec = Executors.newFixedThreadPool(100) ;

        for (int i = 0; i < 10000; i++) {
            // 连续10次循环将生成相同用户名，以模拟重复插入情况
            final String username = String.format("U%04d" ,i / 10 + 1);
            exec.execute(new Runnable() {
                @Override
                public void run() {
                    if(!exists(username) && !userService.exists(username)) {
                        userService.save(username ,"111111" ,new Date());
                    }
                }
            });
        }

        exec.shutdown();
        while (!exec.isTerminated()) ;

        System.out.printf("程序执行耗时：%d 毫秒!" ,System.currentTimeMillis() - time);

    }

    private boolean exists(String username) {
        final String key = "lock:" + username ;
        Jedis jedis = null ;
        try {
            jedis = jedisPool.getResource() ;
            Long reply = jedis.setnx(key ,"1") ;
            if (reply != null && reply.equals(1L)) {
                // 由于只是为了解决瞬时并发写入重复问题，所以缓存生存时间定为30秒
                jedis.expire(key ,30) ;
                return false ;
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (jedis != null) {
                jedis.close();
            }
        }
        return true ;
    }

这里采用了取巧的办法，并不需要关注锁的释放问题，所以这里的锁释放(设置过期时间)操作并不严谨，但对于本案例来说，即使锁不释放，也不会有太大问题(浪费点Redis存储空间)，因为相同数据一旦写入，后面再也不应该再次写入，所以即使本例锁不释放也不会造成什么问题。

代码地址：http://git.oschina.net/zlikun/zlikun-test-concurrent_write_db

作者：黎明神话
链接：https://www.jianshu.com/p/290759820909
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。