记录第一次使用ConcurrentHashMap，BlockingQueue

背景

最近接手一个项目，主要是做日志收集的项目，接入了大部分公司的系统，目前仍然采用的是单机模式，部署使用的是docker,接入consul做成微服务给各个系统使用

生产问题

由于是单机系统，日志查看也非常方便，一次偶然机会，产品告诉我某些数据查询不出来了，他帮忙给手动给纠正了，我一头雾水；因为我根本不在意这个，觉得不是什么大问题；突然第二天他告诉我某些数据重复的写入，导致了公司的某些分析功能出差错了 ，让我看看如何保证数据不重复写入；此时我想的是使用synchronize来做这个

着手解决

通过定位问题发现是由于一个事务中包含读取以及写入；但是多请求的时候导致的数据重复写入（读取以及写入不一致），使用的synchronize来保证我这个读写代码块后我以为可以解决这个问题；待系统上线后发现这个根本没法保证；实际上是因为这个两个实例请求，互不干扰，所有锁失效了。

ConcurrentHashMap，BlockingQueue使用

ConcurrentHashMap是线程安全的，以前都没怎么关注过这个问题；平常使用的比较多的也是hashmap。那为什么还要使用BlockingQueue;这个就要涉及到业务的问题了，在使用BlockingQueue之前，我的代码想法如下

ConcurrentHashMap map = new ConcurrentHashMap<>();
/**
 * 这里需要定义一个key
 * 
 */
//这个key是保证在map里面同一时间只能有一个
//返回值val如果为null,则表示是第一次放，放成功了
//返回值如果是我定义的ok,则表示这里面已经有同一个对象了，放不成功
String val = map.putIfAbsent(key, "ok");
//放成功的进来这里
 if (StringUtils.isEmpty(val)) {
/**
 * 这里是业务逻辑
 * 
 */
 //处理完需要将key移除，这样才能让后面的使用
 map.remove(key);
 } else {
			//加入map失败，说明已经有一个一样的设置了
            // 为了不丢失数据，将其放到一个循环中去抢值设置
           while(map.putIfAbsent(key,"ok")!= null){
           }
//这里仍然是业务逻辑，处理完之后需要将key移除
           map.remove(key);
 }

上面的代码虽然符合逻辑要求，但是while循环设置值，因为有并发因素的存在，有可能会导致因并发压力而导致的系统崩溃，且容错率并不高；为此，特地引入了BlockingQueue队列，将不成功的的数据扔进此队列，使用springboot的异步定时任务去执行处理这些数据，定时器每隔一定时间从这个队列里面取出全部数据进行处理，这样也能保证容错