java根据字段来对集合进行去重

最新推荐文章于 2024-06-24 19:50:07 发布
最新推荐文章于 2024-06-24 19:50:07 发布
阅读量1.4k 收藏
点赞数 5
分类专栏： 工具方法 文章标签： java 反射 去重 集合去重 编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013488993/article/details/71486847
版权

在我们编码的过程中，常常会遇到这种情况，一个集合中有重复的数据存在，比如下面这组数据：

 "insurances":[
        {
            "insCode":"01",
            "insName":null,
            "amount":"139700.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"01",
            "insName":null,
            "amount":"139700.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"02",
            "insName":null,
            "amount":"500000.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"02",
            "insName":null,
            "amount":"500000.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"03",
            "insName":null,
            "amount":"127878.4",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"03",
            "insName":null,
            "amount":"127878.4",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"04",
            "insName":null,
            "amount":"10000.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"04",
            "insName":null,
            "amount":"10000.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"05",
            "insName":null,
            "amount":"10000.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"05",
            "insName":null,
            "amount":"10000.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"27",
            "insName":null,
            "amount":"0.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"27",
            "insName":null,
            "amount":"0.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"28",
            "insName":null,
            "amount":"0.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"28",
            "insName":null,
            "amount":"0.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"48",
            "insName":null,
            "amount":"0.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"48",
            "insName":null,
            "amount":"0.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"49",
            "insName":null,
            "amount":"0.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"49",
            "insName":null,
            "amount":"0.0",
            "premium":"0",
            "modelCode":""
        },
        {
            "insCode":"80",
            "insName":null,
            "amount":"0.0",
            "premium":"0",
            "modelCode":""
        }
    ]

针对这样的数据我们该怎么办呢，肯定是去重，在上图我们第一眼看到的就是【insCode】重复了，01、01… 那么我们有没有办法来根据字段名进行值去重呢？答案当然是有！接下来我们就逐步解决这个问题，我用到了java中的反射机制，因为集合中不是简单的基本类型而是对象，故想要做到通用就要使用反射了，下面看代码！~

    /**
     * 根据字段来对entity集合进行去重
     * @param sourceList 要去重的集合
     * @param fieldName 依据的字段
     * @return 去重后的集合
     */
    @SuppressWarnings({ "rawtypes", "unchecked" })
    public static List qcByFieldName(List sourceList,String fieldName){
        // 定义新集合
        List newArr = new ArrayList();
        try{
            String values = "";
            // 通过反射获取该字段的属性值并记录
            for (Object obj : sourceList) {
                values += ReflectUtils.getValue(obj, fieldName) + ",";
            }
            // 字段去重
            Set<String> setVal = new HashSet<String>(Arrays.asList(values.split(",")));
            // 遍历set取出各自的对象并追加到集合中
            for (String str : setVal) {
                Object obj = getListObjByFieldName(sourceList,fieldName,str);
                // 追加
                newArr.add(obj);
            }
        }catch(Exception e){
            e.printStackTrace();
        }
        return newArr;
    }

    /**
     * 根据字段名和字段值在一个集合中取出对应的对象
     * @param sourceList 要操作的集合
     * @param fieldName 字段名
     * @param fieldValue 字段值
     * @return 取出的对象
     */
    @SuppressWarnings("rawtypes")
    private static Object getListObjByFieldName(List sourceList,String fieldName,String fieldValue){
        try{
            // 遍历
            for (Object obj : sourceList) {
                // 获取当前对象的属性名
                Field field = obj.getClass().getDeclaredFields()[0];
                field.setAccessible(true);   // 设置为私有亦可访问
                String fName = field.getName();
                String fValue = field.get(obj).toString();
                // 如果相同就取一条
                if(fieldName.equals(fName) && fieldValue.equals(fValue)){
                    return obj;
                }
            }
        }catch(Exception e){
            e.printStackTrace();
        }
        return null;
    }

调用qcByFieldName方法，传入要去重的集合和依据的字段名称即可进行去重，调用的形式如下：
List<Insurance> insurances = getInsurances(); // 获取所有险种集合（这里面获取到的数据有可能会重复）
insurances = Tools.qcByFieldName(insurances, "insCode"); // 这样就做到了去重，因为没有写泛型所以这样可以直接赋值成功

具体的实现步骤我在注释中已经写的很清楚了哈，大家有兴趣的话可以看注释，第一次写博客望大家多多支持！~

下面奉上ReflectUtils.getValue() 方法，这个方法的作用就是获取一个对象实例指定字段的值（参数一要传入对象实例，参数二要传入字段名）：

    /**
     * 通过字段名从对象或对象的父类中得到字段的值
     * @param object 对象实例
     * @param fieldName 字段名
     * @return 字段对应的值
     * @throws Exception
     */
    public static Object getValue(Object object, String fieldName) throws Exception {
        if (object == null) {
            return null;
        }
        if (Tools.isBlank(fieldName)) {   // 判断是否为空
            return null;
        }
        Field field = null;
        Class<?> clazz = object.getClass();
        for (; clazz != Object.class; clazz = clazz.getSuperclass()) {
            try {
                field = clazz.getDeclaredField(fieldName);
                field.setAccessible(true);
                return field.get(object);
            } catch (Exception e) {
                //这里甚么都不要做！并且这里的异常必须这样写，不能抛出去。  
                //如果这里的异常打印或者往外抛，则就不会执行clazz = clazz.getSuperclass(),最后就不会进入到父类中了  
            }
        }
        return null;
    }

getValue() 方法我是在网上找的，其原文地址为：
https://my.oschina.net/simpleton/blog/699876

忆辛
关注
  • 5
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
java集合根据多个字段去重_java8 groupby 对多个字段进行去重, 统计
weixin_33784572的博客
02-25 2111
package com.icil.elsa.test.utils;import java.util.ArrayList;import java.util.Comparator;import java.util.List;import java.util.Map;import java.util.TreeSet;import java.util.stream.Collectors;import or...
如何实现java8 list按照元素的某个字段去重
08-25
在Java编程中，有时我们需要处理列表（List）数据结构，并且在处理过程中，可能需要根据元素的特定字段去重。Java 8引入了Stream API，它提供了强大的数据处理能力，包括去重操作。本篇文章将详细讲解如何使用Java 8...
对象集合根据其中某个字段去重
xiaoheihai666的博客
10-25 1804
写代码时经常遇到对集合中某个字段进行去重，用遍历的话既浪费时间又要写大量代码，今天给大家介绍借助jdk8的新特性--> Stream流进行处理 listVOS.stream() .collect(Collectors.collectingAndThen(Collectors.toCollection(() -> new TreeSet<>(Comparator.comparing(StageCheckListVO::getStackBatch))), ArrayList::
Java stream通过集合，对于里面的某一个字段进行去重
一切都会好起来的，即使不在今天
05-14 1992
/** * ,collect是一个终端操作,它接收的参数是将流中的元素累积到汇总结果的各种方式(称为收集器) * * * Collectors是一个工具类，是JDK预实现Collector的工具类，它内部提供了多种Collector *Collectors收集器类对流中的数据进行聚合操作， * * ...
Java对象List根据ID去重
最新发布
李长渊的博客
06-24 889
Java对象List根据ID去重
多数据分组重复取时间大的一条
A9925的专栏
01-12 1906
根据 考试id exam_id 和学生id  查出来的集合  (里边有smallitem_id 是重复的 ) 重复的 我取 create_time  最大的那个记录 select * from (select  distinct cretate_time  from t_exam_change_score_log order by cretate_time desc) f
Set集合去重(详细篇)
lz17267861157的博客
06-26 6213
这只是小编使用的最基本方法，至于更难的的靠自己，毕竟我的只是让你理解怎么用
java常用的五种数据去重方式
晚笛的博客
03-28 2910
java常用的五种数据去重方式
Java中List集合对象去重及按属性去重的8种方法
09-08
对于包含自定义对象的List，可以实现一个比较器（Comparator）来根据对象的特定属性进行去重。 ```java @Test void testRemoveByAttribute1() { List<Player> uniquePlayers = playerList.stream() .distinct...
java jsonarray 踢重 去重操作
11-17
在Java中处理JSON数据时，经常需要对JSON数组进行各种操作，其中去重是一个常见的需求。本文将详细介绍如何使用Java对`JSONArray`进行去重操作，并深入探讨背后的原理和技术细节。 ### JSON与Java JSON...
Java中对List去重 Stream去重的解决方法
08-27
Java中提供了多种方法来实现List去重，下面我们将对其中的一些方法进行介绍。 使用HashSet去重 HashSet是一种常见的集合类型，它具有自动去重的特性。我们可以将List中的元素添加到HashSet中，然后从HashSet中...
List集合多个复杂字段判断去重的案例
08-26
对 List 集合中的复杂对象进行去重操作需要我们重写 equals 方法，以便让 Java 知道如何判断两个对象是否相等。同时，我们也可以使用 contains 方法来检查对象是否已经存在于集合中，以便避免重复对象的出现。
JAVA 两个对象相同字段属性值补全(仅针对空值字段)
wxairn的博客
04-21 696
利用反射实现空字段属性赋值，例如：两个结构相似的对象A和B，利用对象B补全对象A里属性值为空的字段，并返回一个完整的对象A。
快速去重：使用Java根据对象某一属性去除重复对象的实现指南
m0_50033700的博客
08-21 5627
提供一个自定义的类，包含需要去重的属性。重写equals()方法，比较对象的name属性是否相等。重写hashCode()方法，根据属性生成哈希码。使用HashSet或LinkedHashSet进行去重操作。提供一个自定义的类，包含需要去重的属性。重写equals()方法，比较对象的name属性是否相等。重写hashCode()方法，根据属性生成哈希码。使用Java 8Stream API中的distinct方法进行去重操作。
java8 从一个List中提取出集合中对象的某个字段的集合，并去重不打乱顺序
huyekeke1989的博客
10-30 9659
java8 从一个List中提取出集合中对象的某个字段的集合语法： 说明：提取personAchieveMentList集合中对象的targetType字段的集合（此处没有去除重复，对象的集合有多少条数据，字段的集合就有多少条数据） List targetTypeList = personAchieveMentList.stream().map(AchieveMentDTO -> AchieveMentDTO.getTargetType()).collect(Collectors.toList());
Java通过Lambda表达式根据指定字段去除重复数据（集合去重）
Elegance never goes out of fashion
12-02 1万+
这里博主给大家封装好了一个工具类，里面有两个方法。
java集合对象根据多个字段去重
Charles
08-07 4731
大家很关心的结果来了，之前我们要去重对象中的重复的数据 可能需要两个for循环，从今天开始就不再需要了。 昨天看了一篇文章说TreeSet能去重多个，我知道能去重一次，后来测试研究如下： // 这是查看的文档 List<User> list = new ArrayList<>(); list.add(new User("李白","123",1)); list.add(new...
java8特性--list集合根据多个字段去重
热门推荐
至尊宝
05-28 6万+
项目需求描述 出于项目需要,有一个list,实体包含多个字段,当其中两个字段相同均相同时,就认为list中的两条记录是一样的,本来想通过分组实现,java8的分组只提供根据一个字段分组,只好另寻他路,java8有一个collectingAndThen可以根据多个字段去重,因为我们的需求是可以去重之后操作,因此采用这种方式。 分组及去重 分组 classEntities.stre...
java集合合并_【总结】Java集合之间合并与去重及元素比较的方法
weixin_35327824的博客
02-21 2096
可以用于 Java多个集合之间合并及元素比较的简单方法public static void main(String[] args) {Listlist = new ArrayList<>();Listlist2 = new ArrayList<>();list.add("aaa");list.add("李四");list.add("赵五");list2.add("aaa")...
java根据字段相同序号大的去重
07-28
回答: 要根据字段相同序号大的去重，可以使用Java的Stream API和自定义的Comparator来实现。首先，将List转换为Stream，然后使用distinct()方法进行去重。但是，distinct()方法默认使用元素的equals()和hashCode()...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值