MongoDB聚合小tips

MongoDB对于嵌套（Embedded）数组的过滤

首先定义下结构

{
  "play_id": "639045efae627e2aacf35dce",
  "region_id": 1106,
  "point_list": [
    {
      "id": "1faf5aa9-e262-45fe-96dd-64395c96cf5c",
      "name": "获取k8s node证书",
      "status": 0,
    },
    {
      "id": "bc1b11cf-c05a-4964-8ac6-cce1cc23e913“,
      "name": "获取redis服务器的证书",
      "status": 1,
    },
  ]
}
{
  "play_id": "639045efae627e2aacf35dce",
  "region_id": 1107,
  "point_list": [
    {
      "id": "7ac89b59-9657-48bf-8445-171c3de68d53",
      "name": "获取k8s node证书",
      "status": 0,
    },
    {
      "id": "4db7c39d-d2b4-48c2-912d-fca3864ed556",
      "name": "获取redis服务器的证书",
      "status": 3,
    },
    {
      "id": "cd825402-93de-4fb3-876a-e4d2e5d0973b",
      "name": "检查系统最近 15 分钟平均负载小于CPU核数",
      "status": 1,
    },
  ]
}

这里将业务中的数据结构抽象一部分出来，供作数据使用；

• play_id： 任务的id
• region_id：地域id
• point_list： 执行内容的列表
  –id：执行内容的唯一标识id
  –name：执行内容的名称
  –status：执行内容的状态

现在的小需求是查询某一任务中不同状态执行内容的数量以及列表，这里要注意某一任务会包含多地域的情况

这里主要用到的是Aggregation（官方传送门）

涉及到多步操作且需要有序执行，则使用bson.A来规范过滤条件

	filter := bson.A{}

小tips：多步操作时将每一步的过滤条件应用为bson.D，最后使用bson.A进行有序表示

• D：BSON 文档（切片）的有序表示
• A：BSON 数组的有序表示

第一步 查询指定任务

因为本次需求要使用聚合操作，所以在编写filter的时候要记得添加相关语法

	filter1 := bson.D{{"$match", bson.D{{"play_id", playId}}}}

这里可以使用MongoDB Compass来进行作弊：

第二步 将嵌套数组拆分

使用 $unwind 操作符（传送门）
如果文档中包含 array 类型字段、并且其中包含多个元素，使用 $unwind 操作符会根据元素数量输出多个文档，每个文档的 array 字段中仅包含 array 中的单个元素。

$unwind 操作符返回了多条文档数据，并且改变了字段的类型。

	filter2 := bson.D{
		{"$unwind",
			bson.D{
				{"path", "$point_list"},
				{"includeArrayIndex", "num"},
			},
		},
	}

path 是决定将哪个嵌套数组进行打平。 以一开始举例的数据为例，则1106这个地域的数据会被分成两条数据，其中每一条数据的“point_list“会变成Object类型
includeArrayIndex则是新数据的名称（数字自增）

第三步 按照name进行聚合｜统计数量

使用$group操作法（传送门）

	filter3 := bson.D{
		{"$group",
			bson.D{
				{"_id", "$point_list.name"},
				{"point_list", bson.D{{"$push", "$point_list"}}},
			},
		},
	})

_id 是分组的id
point_array 是name=分组id的列表
—————————————————————————————————————————

	filter3 := bson.D{
		{"$group",
			bson.D{
				{"_id", "$point_list.status"},
				count: {
					"$sum": 1,
				}
			},
		},
	})

将上述分步的filter拼接起来便是最终的过滤条件，又或是写在一起：

filter := bson.A{
		bson.D{{"$match", bson.D{{"play_id", playId}}}},
		bson.D{
			{"$unwind",
				bson.D{
					{"path", "$point_list"},
					{"includeArrayIndex", "num"},
				},
			},
		},
	}
	filter = append(filter, bson.D{
		{"$group",
			bson.D{
				{"_id", "$point_list.name"},
				{"point_array", bson.D{{"$push", "$point_list"}}},
			},
		},
	})

如若需要添加其他匹配条件，append即可（要按照顺序添加）

使用pipeline的话代码如下：

[{
    $match: {
        play_id: '639045efae627e2aacf35dce'
    }
}, {
    $unwind: {
        path: '$point_list',
        includeArrayIndex: 'num'
    }
}, {
    $group: {
        _id: '$point_list.status',
        count: {
            $sum: 1
        }
    }
}]