MongoDB 查询分享 包含( 筛选 分组 排序 脱敏 格式化日期)
1. 概述
本文档介绍如何在 MongoDB 中查询集合 userCollection
,并执行以下操作:
- 根据
userId
字段进行筛选。 - 对
lastLogin
字段进行排序和分组。 - 对
phoneNumber
字段进行脱敏处理。 - 对
lastLogin
字段的日期进行时间加法操作。 - 将
lastLogin
字段格式化为yyyy-MM-dd HH:mm:ss
格式。
2. 查询示例
以下是完整的 MongoDB 聚合查询语句:
db.getCollection("userCollection").aggregate([
{
"$match": {
"userId": {
"$in": [
"user_01",
"user_02",
"user_03"
]
}
}
},
{
"$sort": { "lastLogin": -1 } // 按照lastLogin降序排序
},
{
"$group": {
"_id": "$userId",
"lastLogin": { "$first": "$lastLogin" }, // 取每个userId分组后的第一条
"phoneNumber": { "$first": "$phoneNumber" } // 取每个userId分组后的第一条phoneNumber
}
},
{
"$addFields": {
"lastLogin": {
"$dateAdd": {
"startDate": "$lastLogin",
"unit": "hour",
"amount": 5 // 加5小时
}
}
}
},
{
"$addFields": {
"lastLogin": {
"$dateToString": {
"format": "%Y-%m-%d %H:%M:%S",
"date": "$lastLogin",
"timezone": "Asia/Shanghai" // 使用特定时区格式化
}
},
"phoneNumber": {
"$concat": [
{ "$substr": ["$phoneNumber", 0, 3] }, // 保留前三位
"****", // 中间部分脱敏
{ "$substr": ["$phoneNumber", -4, 4] } // 保留后四位
]
}
}
},
{
"$project": {
"userId": "$_id",
"lastLogin": 1,
"phoneNumber": 1,
"_id": 0
}
}
])
3. 关键字和函数详解
3.1 $match
$match
是一个过滤阶段,用于筛选集合中符合条件的文档。在本例中,我们使用 $match
筛选 userId
字段在指定列表中的文档。
{
"$match": {
"userId": {
"$in": [
"user_01",
"user_02",
"user_03"
]
}
}
}
$in
:用于匹配字段值在指定数组中的文档。它相当于 SQL 中的IN
操作符。
3.2 $sort
$sort
用于对查询结果进行排序。在本例中,我们按照 lastLogin
字段的降序排序,以便在后续的分组操作中能够获取每个分组内最新的记录。
{
"$sort": { "lastLogin": -1 }
}
-1
:表示降序排列。1
表示升序排列。
3.3 $group
$group
用于将文档分组,并对每个组进行聚合操作。在本例中,我们按 userId
字段进行分组,并使用 $first
获取每组中最新的 lastLogin
值和 phoneNumber
。
{
"$group": {
"_id": "$userId",
"lastLogin": { "$first": "$lastLogin" },
"phoneNumber": { "$first": "$phoneNumber" }
}
}
_id
:表示分组的依据,在本例中是userId
字段。$first
:返回按排序后的文档组中的第一个文档的值。在排序后用于获取最新的lastLogin
。
3.4 $addFields
$addFields
用于向文档中添加新字段或修改现有字段的值。在本例中,我们使用两次 $addFields
:
- 第一次用于将
lastLogin
日期加上 5 小时。 - 第二次用于将
lastLogin
格式化为指定格式,并对phoneNumber
进行脱敏处理。
{
"$addFields": {
"lastLogin": {
"$dateAdd": {
"startDate": "$lastLogin",
"unit": "hour",
"amount": 5
}
}
}
}
$dateAdd
:用于对日期进行加减操作。startDate
是初始日期,unit
是操作的时间单位(如 “hour”、“day”),amount
是要加的数量。
{
"$addFields": {
"lastLogin": {
"$dateToString": {
"format": "%Y-%m-%d %H:%M:%S",
"date": "$lastLogin",
"timezone": "Asia/Shanghai"
}
},
"phoneNumber": {
"$concat": [
{ "$substr": ["$phoneNumber", 0, 3] }, // 保留前三位
"****", // 中间部分脱敏
{ "$substr": ["$phoneNumber", -4, 4] } // 保留后四位
]
}
}
}
$dateToString
:用于将日期转换为指定格式的字符串。format
指定输出格式,date
是要格式化的日期字段,timezone
用于指定时间格式的时区。$substr
:用于截取字符串中的部分字符。$concat
:用于将多个字符串连接成一个字符串。
3.5 $project
$project
用于选择返回文档中的哪些字段,并可以对字段重命名或排除字段。在本例中,我们选择了 userId
、lastLogin
和 phoneNumber
字段,并隐藏了 _id
字段。
{
"$project": {
"userId": "$_id",
"lastLogin": 1,
"phoneNumber": 1,
"_id": 0
}
}
1
:表示包括该字段。0
:表示排除该字段。userId: "$_id"
:将_id
字段的值赋给userId
,从而重命名该字段。
4. 总结
本例通过 MongoDB 的聚合操作实现了复杂的数据处理任务,包括筛选、排序、分组、脱敏、日期加法和格式化操作。通过对关键字和函数的合理使用,能够有效地提取并处理所需数据,同时保护敏感信息。
在实际应用中,可以根据具体需求调整查询语句,以适应不同的业务场景。如果需要进一步的优化或调整,请根据实际需求修改相关的聚合管道步骤。