【Java新特性】Java8第一期：Stream中distinct是如何去重的

前序

本人想将Java8到Java17中所有的新特性做详细的试用及源码的解读。
本期是第一期：Java Stream中distinct是如何去重的

Distinct

研究Java1.8中Stream各种方法具体实现原理。本次研究对象为去重方法——Distinct

基础用法

List<testDistinctData> collect = list.stream()
                .distinct()
                .collect(Collectors.toList());

测试代码

先上测试代码。

对于新手做一点解释

代码中重写了equals和hashCode方法的原因：基础类型无需重写equals和hashCode方法即可使用Object类中的进行比较是否相等。引用类型中，默认使用Object中的equals方法，即内存地址相等。distinct中做对比对象是否相同使用的就是equals和hashCode，重写后制定我们需要比较哪些字段相等即代表对象相等。以下代码则表示当a、b、c三个属性都相等时TestDistinctData 则相等

@Data
@Accessors(chain = true)
public class TestDistinctData {

    private String a;
    private String b;
    private String c;
    private Integer d;


    public static void main(String[] args) {
        // 造测试数据
        List<TestDistinctData> list = getList();
        /*List<testDistinctData> collect = list.stream()
                .distinct()
                .collect(Collectors.toList());*/
        // ↑未排序，输出结果 [{"a":"a","b":"b","c":"c","d":3},{"a":"a1","b":"b","c":"c","d":5}]
        List<TestDistinctData> collect = list.stream()
                .sorted((o1, o2) -> o2.d - o1.d)
                .distinct()
                .collect(Collectors.toList());
        // ↑排序，输出结果：[{“a”:“a1”,“b”:“b”,“c”:“c”,“d”:5},{“a”:“a”,“b”:“b”,“c”:“c”,“d”:4}]
        System.out.println(JSONUtil.toJsonStr(collect));
    }

    private static List<TestDistinctData> getList() {
        TestDistinctData req1 = new TestDistinctData()
                .setA("a")
                .setB("b")
                .setC("c")
                .setD(3);
        TestDistinctData req2 = new TestDistinctData()
                .setA("a")
                .setB("b")
                .setC("c")
                .setD(1);
        TestDistinctData req3 = new TestDistinctData()
                .setA("a")
                .setB("b")
                .setC("c")
                .setD(4);
        TestDistinctData req4 = new TestDistinctData()
                .setA("a1")
                .setB("b")
                .setC("c")
                .setD(5);
        TestDistinctData req5 = new TestDistinctData()
                .setA("a1")
                .setB("b")
                .setC("c")
                .setD(2);

        List<TestDistinctData> list = Lists.newArrayList(req1, req2, req3, req4, req5);
        return list;
    }

    @Override
    public boolean equals(Object o) {
        if (this == o) return true;
        if (o == null || getClass() != o.getClass()) return false;
        TestDistinctData that = (TestDistinctData) o;
        return Objects.equals(a, that.a) && Objects.equals(b, that.b) && Objects.equals(c, that.c);
    }

    @Override
    public int hashCode() {
        return Objects.hash(a, b, c);
    }
}

输出结果分析

如果List未排序，则按照先入为主来做去重，也就是去重结果为默认顺序中第一位对象（值）。
如果List排序后，也是按照排序后的重复数据的第一条

源码解读待续…

关于Stream如果看源码可参考一位大佬的文章：Java8 Stream源码分析

总结来讲，Stream是一个管道，我们可以在数据传输过程中，往stream中包装操作。如.distinct()，Stream获取到有distinct操作后，会通过各种位运算打一个标记。最终在执行这些包装操作时，通过标志位可知需要执行distinct。执行完成所有的操作后返回一个新的Stream