MongoDB 聚合 golang实现

MongoDB 中聚合(aggregate)主要用于处理数据(诸如统计平均值，求和等)，并返回计算后的数据结果。

有点类似 SQL 语句中的 count(*)。

聚合通常是一系列操作，类似与linux管道的概念，后续的操作都会基于前一个操作的结果进行处理。

例如我用如下结构体表示一个企业的员工

type Staff struct {

    Name     string `bson:"name"`    

    Sex      string `bson:"sex"`

    Age      int    `bson:"age"`

    int    `bson:"jobcount"`

}

现在有一个需求是查询从事的每个工种的男员工的人数，可用如下golang代码实现：

package main

import (
	"context"
	"fmt"

	"go.mongodb.org/mongo-driver/bson"
	"go.mongodb.org/mongo-driver/mongo"
	"go.mongodb.org/mongo-driver/mongo/options"
)

const (
	MongoUrl       = "mongodb://localhost:27017"
	DataBaseName   = "company"
	CollectionName = "department"
)

type Staff struct {
	Name string `bson:"name"`
	Sex  string `bson:"sex"`
	Age  int    `bson:"age"`
	Job  string `bson:"job"`
}

func ConnectDatabase() (*mongo.Client, error) {
	ctx := context.Background()
	client, err := mongo.Connect(ctx, options.Client().ApplyURI(MongoUrl))
	if err != nil {
		return nil, err
	}
	if err = client.Ping(ctx, nil); err != nil {
		return nil, err
	}

	return client, nil
}

func main() {
	ctx := context.Background()
	client, err := ConnectDatabase()
	if err != nil {
		fmt.Printf("connect data base error %v\n", err)
		return
	}

	collection := client.Database(DataBaseName).Collection(CollectionName)

	members := []any{
		Staff{Name: "xiaoming", Sex: "man", Age: 21, Job: "sales"},
		Staff{Name: "xiaohong", Sex: "woman", Age: 25, Job: "sales"},
		Staff{Name: "xiaoming", Sex: "man", Age: 27, Job: "sales"},
		Staff{Name: "zhangsan", Sex: "man", Age: 32, Job: "engineer"},
		Staff{Name: "lisi", Sex: "man", Age: 50, Job: "engineer"},
		Staff{Name: "wangwu", Sex: "man", Age: 42, Job: "engineer"},
		Staff{Name: "zhaoliu", Sex: "man", Age: 37, Job: "sales"},
		Staff{Name: "linqi", Sex: "man", Age: 21, Job: "sales"},
		Staff{Name: "feifei", Sex: "woman", Age: 37, Job: "engineer"},
		Staff{Name: "lingling", Sex: "woman", Age: 57, Job: "engineer"},
	}

	if _, err := collection.InsertMany(ctx, members); err != nil {
		fmt.Printf("insert error %v\n", err)
		return
	}

	matchStage := bson.D{{"$match", bson.D{{"sex", bson.D{{"$eq", "man"}}}}}}
	groupStage := bson.D{{"$group", bson.D{
		{"_id", "$job"},
		{"staffcount", bson.D{{"$sum", 1}}},
	}}}

	pipeline := mongo.Pipeline{matchStage, groupStage}

	if cursor, err := collection.Aggregate(ctx, pipeline); err != nil {
		fmt.Printf("aggrate error %v\n", err)
	} else {
		var staffs []bson.M
		if err = cursor.All(ctx, &staffs); err != nil {
			fmt.Printf("cursor error %v\n", err)
		} else {
			fmt.Printf("%v\n", staffs)
		}
	}
}

聚合的一些常用表达式如下：

达式	描述	实例
$sum	计算总和	db.mycol.aggregate([{$group : {_id : "$name", num_tutorial : {$sum : "$age"}}}])
$avg	计算平均值	db.mycol.aggregate([{$group : {_id : "$name", num_tutorial : {$avg : "$age"}}}])
$min	获取集合中所有文档对应值得最小值。	db.mycol.aggregate([{$group : {_id : "$name", num_tutorial : {$min : "$age"}}}])
$max	获取集合中所有文档对应值得最大值。	db.mycol.aggregate([{$group : {_id : "$name", num_tutorial : {$max : "$age"}}}])
$push	将值加入一个数组中，不会判断是否有重复的值。	db.mycol.aggregate([{$group : {_id : "$name", url : {$push: "$url"}}}])
$addToSet	将值加入一个数组中，会判断是否有重复的值，若相同的值在数组中已经存在了，则不加入。	db.mycol.aggregate([{$group : {_id : "$name", url : {$addToSet : "$url"}}}])
$first	根据资源文档的排序获取第一个文档数据。	db.mycol.aggregate([{$group : {_id : "$name", first_url : {$first : "$url"}}}])
$last	根据资源文档的排序获取最后一个文档数据	db.mycol.aggregate([{$group : {_id : "$name", last_url : {$last : "$url"}}}])

聚合框架中的一些常用操作如下：

• $project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。
• $match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。
• $limit：用来限制MongoDB聚合管道返回的文档数。
• $skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。
• $unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。
• $group：将集合中的文档分组，可用于统计结果。
• $sort：将输入文档排序后输出。
• $geoNear：输出接近某一地理位置的有序文档。