MongoDB 查询分享 包含（ 筛选 分组 排序 脱敏 格式化日期）

MongoDB 查询分享 包含（ 筛选 分组 排序 脱敏 格式化日期）

1. 概述

本文档介绍如何在 MongoDB 中查询集合 userCollection，并执行以下操作：

1. 根据 userId 字段进行筛选。
2. 对 lastLogin 字段进行排序和分组。
3. 对 phoneNumber 字段进行脱敏处理。
4. 对 lastLogin 字段的日期进行时间加法操作。
5. 将 lastLogin 字段格式化为 yyyy-MM-dd HH:mm:ss 格式。

2. 查询示例

以下是完整的 MongoDB 聚合查询语句：

db.getCollection("userCollection").aggregate([
    {
        "$match": {
            "userId": { 
                "$in": [
                    "user_01",
                    "user_02",
                    "user_03"
                ] 
            }
        }
    },
    {
        "$sort": { "lastLogin": -1 } // 按照lastLogin降序排序
    },
    {
        "$group": {
            "_id": "$userId",
            "lastLogin": { "$first": "$lastLogin" }, // 取每个userId分组后的第一条
            "phoneNumber": { "$first": "$phoneNumber" } // 取每个userId分组后的第一条phoneNumber
        }
    },
    {
        "$addFields": {
            "lastLogin": {
                "$dateAdd": {
                    "startDate": "$lastLogin",
                    "unit": "hour",
                    "amount": 5 // 加5小时
                }
            }
        }
    },
    {
        "$addFields": {
            "lastLogin": {
                "$dateToString": {
                    "format": "%Y-%m-%d %H:%M:%S",
                    "date": "$lastLogin",
                    "timezone": "Asia/Shanghai" // 使用特定时区格式化
                }
            },
            "phoneNumber": {
                "$concat": [
                    { "$substr": ["$phoneNumber", 0, 3] }, // 保留前三位
                    "****",                                // 中间部分脱敏
                    { "$substr": ["$phoneNumber", -4, 4] }  // 保留后四位
                ]
            }
        }
    },
    {
        "$project": {
            "userId": "$_id",
            "lastLogin": 1,
            "phoneNumber": 1,
            "_id": 0
        }
    }
])

3. 关键字和函数详解

3.1 $match

$match 是一个过滤阶段，用于筛选集合中符合条件的文档。在本例中，我们使用 $match 筛选 userId 字段在指定列表中的文档。

{
    "$match": {
        "userId": { 
            "$in": [
                "user_01",
                "user_02",
                "user_03"
            ] 
        }
    }
}

• $in：用于匹配字段值在指定数组中的文档。它相当于 SQL 中的 IN 操作符。

3.2 $sort

$sort 用于对查询结果进行排序。在本例中，我们按照 lastLogin 字段的降序排序，以便在后续的分组操作中能够获取每个分组内最新的记录。

{
    "$sort": { "lastLogin": -1 }
}

• -1：表示降序排列。1 表示升序排列。

3.3 $group

$group 用于将文档分组，并对每个组进行聚合操作。在本例中，我们按 userId 字段进行分组，并使用 $first 获取每组中最新的 lastLogin 值和 phoneNumber。

{
    "$group": {
        "_id": "$userId",
        "lastLogin": { "$first": "$lastLogin" },
        "phoneNumber": { "$first": "$phoneNumber" }
    }
}

• _id：表示分组的依据，在本例中是 userId 字段。
• $first：返回按排序后的文档组中的第一个文档的值。在排序后用于获取最新的 lastLogin。

3.4 $addFields

$addFields 用于向文档中添加新字段或修改现有字段的值。在本例中，我们使用两次 $addFields：

1. 第一次用于将 lastLogin 日期加上 5 小时。
2. 第二次用于将 lastLogin 格式化为指定格式，并对 phoneNumber 进行脱敏处理。

{
    "$addFields": {
        "lastLogin": {
            "$dateAdd": {
                "startDate": "$lastLogin",
                "unit": "hour",
                "amount": 5
            }
        }
    }
}

• $dateAdd：用于对日期进行加减操作。startDate 是初始日期，unit 是操作的时间单位（如 “hour”、“day”），amount 是要加的数量。

{
    "$addFields": {
        "lastLogin": {
            "$dateToString": {
                "format": "%Y-%m-%d %H:%M:%S",
                "date": "$lastLogin",
                "timezone": "Asia/Shanghai"
            }
        },
        "phoneNumber": {
            "$concat": [
                { "$substr": ["$phoneNumber", 0, 3] }, // 保留前三位
                "****",                                // 中间部分脱敏
                { "$substr": ["$phoneNumber", -4, 4] }  // 保留后四位
            ]
        }
    }
}

• $dateToString：用于将日期转换为指定格式的字符串。format 指定输出格式，date 是要格式化的日期字段，timezone 用于指定时间格式的时区。
• $substr：用于截取字符串中的部分字符。
• $concat：用于将多个字符串连接成一个字符串。

3.5 $project

$project 用于选择返回文档中的哪些字段，并可以对字段重命名或排除字段。在本例中，我们选择了 userId、lastLogin 和 phoneNumber 字段，并隐藏了 _id 字段。

{
    "$project": {
        "userId": "$_id",
        "lastLogin": 1,
        "phoneNumber": 1,
        "_id": 0
    }
}

• 1：表示包括该字段。
• 0：表示排除该字段。
• userId: "$_id"：将 _id 字段的值赋给 userId，从而重命名该字段。

4. 总结

本例通过 MongoDB 的聚合操作实现了复杂的数据处理任务，包括筛选、排序、分组、脱敏、日期加法和格式化操作。通过对关键字和函数的合理使用，能够有效地提取并处理所需数据，同时保护敏感信息。

在实际应用中，可以根据具体需求调整查询语句，以适应不同的业务场景。如果需要进一步的优化或调整，请根据实际需求修改相关的聚合管道步骤。