Java 集合去掉重复数据,并取其中第一条方式

Java 集合去掉重复数据,并取其中第一条方式

假设有这么一个场景：

业务给这个商品A报价，其中业务A 和 业务B 都可以给A报价并且报多次,这个时候就会有这样一个需求，根据商品加业务员取商品，如果存在重复的数据取报价时长最长的这条

这个时候就想到在sql 里面一次性查询出来 使用row_number() 方法

        select  user_id, product_id,validity_time
        FROM (
        select
    pp.user_id,  
        PP.product_id,
      PP.validity_time,
        row_number() over ( partition by  PP.product_id order by PP.validity_time desc )  as row_number
        from  xxxx   as PP where pp.user_id =#{param1}
        ) as PP
        where PP.row_number = 1  

这个时候确实就可以完成本次需求，需要每次在查询的结果集后 再单独去查询一次db,这样就会带来一个问题查询慢，导致业务提故障，这个时候我们就要考虑去优化这个，可以将 上面的sql 把分页数据一次性带入查询处理，查询这些条件下的数据，转成map,再去map.get() 这样就减少了多次查询的问题，这个带来了一个问题 我们根据 PP.product_id 去分 这样就会存在 只能存在一个 商品 ，但是我们的商品是可以让多个业务去报价的一定会存在一个商品多个业务的情况，这个时候就不能考虑使用row_number() 来处理了，这个时候sql 就只是简单的查询就行,

在代码层面去处理

select
    pp.user_id,  
        PP.product_id,
      PP.validity_time,
        from  xxxx   as PP where( pp.user_id =#{param1} or pp.user_id =#{param2} ....) 

这个时候就有2种方法

1.利用Collectors.toMap 第三个参数 （a,b）->a 去重拿到一个去重后的数据 如果存在重复的就取一条

 // 获取 有效的报价数据
        List<XXXXXX> firstList =
                this.xxxDao.findXXXX(paramList);
 // 去重后的
        List<XXXXXX>   lastFilterList = new ArrayList<>();

 // 去重 拿到第一个数据
        Map<String, XXXXXX> deduplicationMap = validQuoteSkuNumNewList.stream()
                .collect(Collectors.toMap(i -> i.getUserId() + "-" + i.getProductId(), i -> i,(a,b)->a));
// 取出里面的value 就能得到一个不重复的
  deduplicationMap.forEach((key,value)->{
            lastFilterList.add(value);
        });

2.利用Collectors.collectingAndThen 分组后取其中的一个 这种不能避免只有一个商品的情况 但也是一种代替row_number 的方法

 // 获取 有效的报价数据
        List<XXXXXX> firstList =
                this.xxxDao.findXXXX(paramList);
 // 去重后的
        List<XXXXXX>   lastFilterList = new ArrayList<>();

 // 去重 拿到第一个数据
        Map<String, ProductPurchasePriceErpVO> deduplicationMap = validQuoteSkuNumNewList.stream().collect(Collectors.groupingBy(ProductPurchasePriceErpVO::getProductCode
                , Collectors.collectingAndThen(Collectors.toList(), value -> value.get(0))));
    
// 取出里面的value 就能得到一个不重复的
  deduplicationMap.forEach((key,value)->{
            lastFilterList.add(value);
        });

3.mysql5.7 没有 row_number() 函数 要嵌套表关联实现 如果mysql 8.0 可以忽略这个 使用一个max() 加 分组取出其中的一条关联查询嵌套 查询3次 拿出最新的 这样确实恶心 这个时候建议代码中实现。

select o.order_id,pr.order_id
from o_order as o
         inner join (select p1.order_id,p1.record_id
                     from o_pay_record as p1
                              inner join (select p2.order_id, max(p2.create_time) as max_time
                                          from o_pay_record as p2
                                          group by p2.order_id) as p2
                                         on p1.order_id = p2.order_id and p2.max_time = p1.create_time
                     ) as pr
                    on pr.order_id = o.order_id
where o.order_number = 'ON23081614210001'

以上就是本次需求中的一些感悟。