高级java每日一道面试题-2024年9月28日-基础篇-如何查询重复的数据?

java我跟你拼了

于 2024-09-28 07:11:40 发布

阅读量229

点赞数 6

分类专栏： java每日一道面试题文章标签： java 大数据查重数据结构基础篇面试高级java

本文链接：https://blog.csdn.net/qq_43071699/article/details/142606480

版权

java每日一道面试题专栏收录该内容

140 篇文章 8 订阅

订阅专栏

如果有遗漏,评论区告诉我进行补充

面试官: 如何查询重复的数据?

我回答:

在Java高级面试中，查询重复数据是一个常见的算法和编程技能考察点。这里将详细介绍几种在Java中查询重复数据的方法，这些方法不仅适用于数组、集合，也适用于处理数据库查询中的重复数据。

java层面的去重

1. 使用HashSet或LinkedHashSet去重后比较

这是最基本的方法之一，通过先将数据放入HashSet（自动去重）或LinkedHashSet（保持插入顺序）中，然后比较原始数据集合和去重后的集合大小，来判断是否存在重复数据。如果需要找出具体的重复项，则需要额外的逻辑。

2. 使用HashMap记录频次

这是最常用的方法之一，通过遍历数据集合，并使用HashMap来记录每个元素出现的次数。最后，遍历HashMap，找出出现次数大于1的元素即为重复数据。

HashMap<String, Integer> map = new HashMap<>();
for (String s : list) {
    map.put(s, map.getOrDefault(s, 0) + 1);
}

List<String> duplicates = new ArrayList<>();
for (Map.Entry<String, Integer> entry : map.entrySet()) {
    if (entry.getValue() > 1) {
        duplicates.add(entry.getKey());
    }
}

3. 使用Stream API

Java 8引入的Stream API提供了强大的数据处理能力，可以通过一行或几行代码实现复杂的操作。对于查找重复数据，可以使用groupingBy和counting收集器来统计每个元素的出现次数，然后过滤出重复的元素。

List<String> duplicates = list.stream()
    .collect(Collectors.groupingBy(Function.identity(), Collectors.counting()))
    .entrySet().stream()
    .filter(entry -> entry.getValue() > 1)
    .map(Map.Entry::getKey)
    .collect(Collectors.toList());

4. 使用双重for循环

这是一种简单但效率较低的方法，通过两层循环遍历数据集合，检查每个元素是否与其他元素重复。这种方法在数据量较大时性能较差，通常不推荐使用。

5. 数据库查询重复数据

如果是在数据库表中查询重复数据，通常会使用SQL语句。例如，可以使用GROUP BY和HAVING子句来找出重复的记录。

SELECT column_name, COUNT(*)
FROM table_name
GROUP BY column_name
HAVING COUNT(*) > 1;

在Java中，你需要使用JDBC或其他数据库连接技术来执行这个SQL语句，并处理结果集。

6. 使用Bloom Filter（适用于大数据集）

Bloom Filter可以使用Google 的 Guava 库提供了一个简单且高效的 Bloom Filter 实现
对于非常大的数据集，可以使用Bloom Filter这种概率型数据结构来近似地查找重复元素。Bloom Filter可能会产生假阳性（即错误地认为某个元素是重复的），但不会产生假阴性（即遗漏真正的重复元素）。然而，由于其复杂性和可能的假阳性问题，这种方法在面试中可能不是首选。

数据库层面

假设我们有一个 employees 表，其中包含以下字段：id, name, email, department_id。我们需要查询出所有重复的 email 地址。

1. 查找重复的 `email` 地址

SELECT email, COUNT(*)
FROM employees
GROUP BY email
HAVING COUNT(*) > 1;

这条 SQL 语句会返回所有出现次数大于 1 的 email 地址及其出现次数。

2. 查找具体的重复记录

如果你还需要具体的重复记录，可以使用子查询：

SELECT e.*
FROM employees e
INNER JOIN (
    SELECT email
    FROM employees
    GROUP BY email
    HAVING COUNT(*) > 1
) dup ON e.email = dup.email;

这条 SQL 语句会返回所有 email 地址重复的具体记录。

3. 使用窗口函数

另一种方法是使用窗口函数 ROW_NUMBER() 来标记重复记录：

WITH RankedEmails AS (
    SELECT *, ROW_NUMBER() OVER (PARTITION BY email ORDER BY id) AS rn
    FROM employees
)
SELECT *
FROM RankedEmails
WHERE rn > 1;