mongoTemplate聚合aggregate操作

最新推荐文章于 2024-09-04 16:28:46 发布
原创 最新推荐文章于 2024-09-04 16:28:46 发布 · 5.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mongoTemplate #aggregate #聚合

本文档展示了如何使用MongoDB的Aggregation操作，通过Criteria筛选和unwind方法拆分values，实现对符合条件的数据子集进行计数，适用于统计day_air集合中每个mp_id的记录数量，以日期范围为筛选条件。

废话不多说，直接上代码

 public int syncTotal(Date startTime, Date endTime) {
        int result = 0;
        Criteria criteria = new Criteria().andOperator(Criteria.where("data_time").gte(startTime), Criteria.where("data_time").lte(endTime));
        //创建aggreation
        Aggregation aggregation = Aggregation.newAggregation(Aggregation.match(criteria),Aggregation.unwind("values"), Aggregation.group("mp_id").first("mp_id").as("mpId").count().as("total"), Aggregation.addFields().addFieldWithValue("type", "day_air").build());
        AggregationResults<TempMpId> out = mongoTemplate.aggregate(aggregation, "day_air", TempMpId.class);
        List<TempMpId> tempMpIdList = new ArrayList<>();
        for (Iterator<TempMpId> iterator = out.iterator(); iterator.hasNext(); ) {
            tempMpIdList.add(iterator.next());
        }
        return result;
    }

1.使用criteria 创建过滤筛选条件

2.使用Aggregation.unwind("values")方法，拆分values子集合，此方法会把

{
    "_id": "2204000000429520201204000000000",
    "mp_id": "22040000004295",
    "create_time": ISODate("2020-12-04T16:10:03.627Z"),
    "data_day": NumberInt("20201204"),
    "data_time": ISODate("2021-03-11T01:29:55.095Z"),
    "gd_id": "125F58D3-B632-43B0-B6D8-1EA90977F33C",
    "mn": "20150724000002",
    "protocol": "0",
    "update_time": ISODate("2020-12-04T16:10:03.627Z"),
    "values": [
        {
            "cou_value": null,
            "flag": null,
            "avg_value": null,
            "mstatus": NumberInt("6"),
            "pollutant_code": "001",
            "min_value": null,
            "avg_zs": null,
            "estatus": NumberInt("0"),
            "astatus": NumberInt("0"),
            "outlet_standard": "20",
            "max_zs": null,
            "min_zs": null,
            "max_value": null,
            "sstatus": NumberInt("0")
        },
        {
            "cou_value": null,
            "flag": null,
            "avg_value": null,
            "mstatus": NumberInt("6"),
            "pollutant_code": "002",
            "min_value": null,
            "avg_zs": null,
            "estatus": NumberInt("0"),
            "astatus": NumberInt("0"),
            "outlet_standard": "80",
            "max_zs": null,
            "min_zs": null,
            "max_value": null,
            "sstatus": NumberInt("0")
        },
        {
            "cou_value": null,
            "flag": null,
            "avg_value": null,
            "mstatus": NumberInt("6"),
            "pollutant_code": "003",
            "min_value": null,
            "avg_zs": null,
            "estatus": NumberInt("0"),
            "astatus": NumberInt("0"),
            "outlet_standard": "250",
            "max_zs": null,
            "min_zs": null,
            "max_value": null,
            "sstatus": NumberInt("0")
        },
        {
            "cou_value": null,
            "flag": null,
            "avg_value": null,
            "mstatus": NumberInt("6"),
            "pollutant_code": "004",
            "min_value": null,
            "avg_zs": null,
            "estatus": NumberInt("0"),
            "astatus": NumberInt("0"),
            "outlet_standard": "80",
            "max_zs": null,
            "min_zs": null,
            "max_value": null,
            "sstatus": NumberInt("0")
        },
        {
            "cou_value": null,
            "flag": null,
            "avg_value": null,
            "mstatus": NumberInt("6"),
            "pollutant_code": "008",
            "min_value": null,
            "avg_zs": null,
            "estatus": NumberInt("0"),
            "astatus": NumberInt("0"),
            "outlet_standard": "50",
            "max_zs": null,
            "min_zs": null,
            "max_value": null,
            "sstatus": NumberInt("0")
        },
        {
            "pollutant_code": "B02",
            "cou_value": null,
            "min_value": null,
            "flag": null,
            "avg_value": null,
            "outlet_standard": null,
            "max_value": null
        }
    ]
}

拆分成，这样如果进行count的话，会把子集的总数算进去

// 1
{
    "_id": "2204000000429520201204000000000",
    "mp_id": "22040000004295",
    "create_time": ISODate("2020-12-04T16:10:03.627Z"),
    "data_day": NumberInt("20201204"),
    "data_time": ISODate("2021-03-11T01:29:55.095Z"),
    "gd_id": "125F58D3-B632-43B0-B6D8-1EA90977F33C",
    "mn": "20150724000002",
    "protocol": "0",
    "update_time": ISODate("2020-12-04T16:10:03.627Z"),
    "values": {
        "cou_value": null,
        "flag": null,
        "avg_value": null,
        "mstatus": NumberInt("6"),
        "pollutant_code": "001",
        "min_value": null,
        "avg_zs": null,
        "estatus": NumberInt("0"),
        "astatus": NumberInt("0"),
        "outlet_standard": "20",
        "max_zs": null,
        "min_zs": null,
        "max_value": null,
        "sstatus": NumberInt("0")
    }
}

// 2
{
    "_id": "2204000000429520201204000000000",
    "mp_id": "22040000004295",
    "create_time": ISODate("2020-12-04T16:10:03.627Z"),
    "data_day": NumberInt("20201204"),
    "data_time": ISODate("2021-03-11T01:29:55.095Z"),
    "gd_id": "125F58D3-B632-43B0-B6D8-1EA90977F33C",
    "mn": "20150724000002",
    "protocol": "0",
    "update_time": ISODate("2020-12-04T16:10:03.627Z"),
    "values": {
        "cou_value": null,
        "flag": null,
        "avg_value": null,
        "mstatus": NumberInt("6"),
        "pollutant_code": "002",
        "min_value": null,
        "avg_zs": null,
        "estatus": NumberInt("0"),
        "astatus": NumberInt("0"),
        "outlet_standard": "80",
        "max_zs": null,
        "min_zs": null,
        "max_value": null,
        "sstatus": NumberInt("0")
    }
}

// 3
{
    "_id": "2204000000429520201204000000000",
    "mp_id": "22040000004295",
    "create_time": ISODate("2020-12-04T16:10:03.627Z"),
    "data_day": NumberInt("20201204"),
    "data_time": ISODate("2021-03-11T01:29:55.095Z"),
    "gd_id": "125F58D3-B632-43B0-B6D8-1EA90977F33C",
    "mn": "20150724000002",
    "protocol": "0",
    "update_time": ISODate("2020-12-04T16:10:03.627Z"),
    "values": {
        "cou_value": null,
        "flag": null,
        "avg_value": null,
        "mstatus": NumberInt("6"),
        "pollutant_code": "003",
        "min_value": null,
        "avg_zs": null,
        "estatus": NumberInt("0"),
        "astatus": NumberInt("0"),
        "outlet_standard": "250",
        "max_zs": null,
        "min_zs": null,
        "max_value": null,
        "sstatus": NumberInt("0")
    }
}

// 4
{
    "_id": "2204000000429520201204000000000",
    "mp_id": "22040000004295",
    "create_time": ISODate("2020-12-04T16:10:03.627Z"),
    "data_day": NumberInt("20201204"),
    "data_time": ISODate("2021-03-11T01:29:55.095Z"),
    "gd_id": "125F58D3-B632-43B0-B6D8-1EA90977F33C",
    "mn": "20150724000002",
    "protocol": "0",
    "update_time": ISODate("2020-12-04T16:10:03.627Z"),
    "values": {
        "cou_value": null,
        "flag": null,
        "avg_value": null,
        "mstatus": NumberInt("6"),
        "pollutant_code": "004",
        "min_value": null,
        "avg_zs": null,
        "estatus": NumberInt("0"),
        "astatus": NumberInt("0"),
        "outlet_standard": "80",
        "max_zs": null,
        "min_zs": null,
        "max_value": null,
        "sstatus": NumberInt("0")
    }
}

// 5
{
    "_id": "2204000000429520201204000000000",
    "mp_id": "22040000004295",
    "create_time": ISODate("2020-12-04T16:10:03.627Z"),
    "data_day": NumberInt("20201204"),
    "data_time": ISODate("2021-03-11T01:29:55.095Z"),
    "gd_id": "125F58D3-B632-43B0-B6D8-1EA90977F33C",
    "mn": "20150724000002",
    "protocol": "0",
    "update_time": ISODate("2020-12-04T16:10:03.627Z"),
    "values": {
        "cou_value": null,
        "flag": null,
        "avg_value": null,
        "mstatus": NumberInt("6"),
        "pollutant_code": "008",
        "min_value": null,
        "avg_zs": null,
        "estatus": NumberInt("0"),
        "astatus": NumberInt("0"),
        "outlet_standard": "50",
        "max_zs": null,
        "min_zs": null,
        "max_value": null,
        "sstatus": NumberInt("0")
    }
}

// 6
{
    "_id": "2204000000429520201204000000000",
    "mp_id": "22040000004295",
    "create_time": ISODate("2020-12-04T16:10:03.627Z"),
    "data_day": NumberInt("20201204"),
    "data_time": ISODate("2021-03-11T01:29:55.095Z"),
    "gd_id": "125F58D3-B632-43B0-B6D8-1EA90977F33C",
    "mn": "20150724000002",
    "protocol": "0",
    "update_time": ISODate("2020-12-04T16:10:03.627Z"),
    "values": {
        "pollutant_code": "B02",
        "cou_value": null,
        "min_value": null,
        "flag": null,
        "avg_value": null,
        "outlet_standard": null,
        "max_value": null
    }
}

3.Aggregation.group("mp_id").first("mp_id").as("mpId").count().as("total")进行group，并且第一列mp_id起别名为mpId,count计数列起别名为total

4.Aggregation.addFields().addFieldWithValue("type", "day_air").build()) 添加自定义字段

5.AggregationResults<TempMpId> out = mongoTemplate.aggregate(aggregation, "day_air", TempMpId.class); 参数1为聚合配置，参数2为查询那个文档，参数3为接收的实体类

6.List<TempMpId> tempMpIdList = new ArrayList<>(); for (Iterator<TempMpId> iterator = out.iterator(); iterator.hasNext(); ) { tempMpIdList.add(iterator.next()); } 循环取出返回值

7.接收返回值的实体类说明

public class TempMpId implements Serializable {

    private String mpId;

    private Integer total;

    private String type;

    public String getMpId() {
        return mpId;
    }

    public void setMpId(String mpId) {
        this.mpId = mpId;
    }

    public Integer getTotal() {
        return total;
    }

    public void setTotal(Integer total) {
        this.total = total;
    }

    public String getType() {
        return type;
    }

    public void setType(String type) {
        this.type = type;
    }
}

 

MongoTemplate 聚合操作
SHGU
02-08 5万+
第一部分在写具体的业务之前我们先说明一下文档定义：PT@Document(collection = "pt") public class PT implements Serializable { @Id private String id; /**学生id **/ private String student_Id; /** 学生姓名 **/ ...
使用mongoTemplate进行Aggregation聚合查询
qq_33695124的博客
04-28 3472
一般业务会有具体差别，主要可以参考下Aggregation的各个参数用法 需求：在订单表中，根据buyerNick分组，统计每个buyerNick的电话、地址、支付总金额以及总商品数，返回结果是CustomerDetail。 /* * project:列出所有本次查询的字段，包括查询条件的字段和需要搜索的字段； * match:搜索条件criteria * unwind：某一个字段是集合，将该字段分解成数组 * group：分组的字段，以及聚合相关查询 * sum：求和(同sql查询) .
mongoTemplate.aggregate()聚合查询
weixin_30929195的博客
10-22 2653
一、概述 1.聚合的表达式 MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果。有点类似sql语句中的 count(*)。 下表展示了一些聚合的表达式: 表达式描述实例 $sum 计算总和。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial...
mongoTemplate.aggregate() 聚合查询，关联查询
C18298182575的博客
09-10 1万+
聚合方法实现了什么功能 条件查询，分组，统计，关联查询，排序，分页，返回指定字段 聚合方法： AggregationResults<DocumentEntity> results = mongoTemplate.aggregate(aggregation, TableNameUtils.getDocTableName(request.getCompanyId()), Docum...
mongoTemplate Aggregation
if_you_can_please_do的博客
11-21 1167
可以通过以下声明方式进行使用 TypedAggregation<User> agg = Aggregation.newAggregation(User.class);AggregationResults<BasicDBObject> aggregationResults = mongoTemplate.aggregate(agg, BasicDBObject.class); //BasicDBOb
mongoTemplate 聚合分组统计，aggregate分页
liupan7891的博客
08-20 7791
/** *mongoTemplate 聚合分组统计返回分组列表 */ public Page<Log> groupStatistics(String compCampId, Long productId, Integer page, Integer size) { if (page<1){page=1;} Integer star...
mongoTemplate聚合管道参考
物联网三分钟
06-03 2452
文章目录多阶段MongoShell聚合操作示例maven坐标构建Aggregation构建AggregationOperation示例$match$group$project$sort将各个聚合管道操作符加入聚合管道执行Aggregation完整Springboot示例构建AggregationExpression 文章记录如何将MongoShell中的管道操作对应翻译为spring-boot-starter-data-mongodb中mongoTemplate的执行方式 首先要了解：MongoDB的聚合
学习MongoDB,在java中使用MongoTemplate聚合操作MongoDB
热门推荐
街角有人祝福,巷口有人哭~
04-26 1万+
1.聚合操作Aggregation介绍    Aggregation简单来说，就是提供数据统计、分析、分类的方法，这与mapreduce有异曲同工之处，只不过mongodb做了更多的封装与优化，让数据操作更加便捷和易用。Aggregation操作，接收指定collection的数据集，通过计算后返回result数据；一个aggregation操作，从input源数据到output结果数据，中间会...
mongodb 系列（二）使用mongoTemplate的Aggregation类进行分组，分页操作
09-16 9695
1.应用场景 mongodb数据库有一张职位搜索表(t_position_search)，里面存储里一些冗余数据（存在一些数据除了id不同其余字段都相同的数据），其中有一个字段是postId，我的需求是在多个相同postId的数据中我只取其中一条（任意一条无所谓，因为相同postId的数据中除了id不同其余字段都相同，我不需要id字段，所以取任意一条无所谓），此时就需要用到mongoTempla...
mongoTemplate实现统计和分组
11-29
附件为mongoDB之Java通过group函数来实现统计和分组的文档描述
MongoDB之聚合aggregate操作
01-07
关于mongodb的高级操作，包括聚合、主从复制、分片、备份与恢复、MR。 一、聚合 aggregate 聚合(aggregate)主要用于计算数据，类似sql中的sum()、avg() 语法：     db.集合名称.aggregate([{管道:{表达式}}]) 管道：管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的输入，比如，ps ajx | grep mongo 在mongodb中，管道具有同样的作用，文档处理完毕后，通过管道进行下一次处理 常用管道 $group：将集合中的文档分组，可用于统计结果 $match：过滤数据，只输出符合条件的文档 $proj
mongoTemplate聚合操作
奔跑的蜗牛的博客
07-10 1万+
准备数据 customer 集合，数据类型如下：（只是部分数据，数据量太多就不一一列出） { "_id" : ObjectId("594c78a1c5fea52a445b8cd2"), "probMac" : "141FBA789098", "devcMac" : "BC3AEA0E50CB", "inTime" : "20170612133513", "outTime" : "20170612
MongoDB之通过mongoTemplate利用aggregate管道聚合操作获取某一个或多个字段的最大值和最小值
熊凯瑞的博客
11-08 3557
有时候在操作mongodb数据库时需要找出某个字段的最大值和最小值，网上的方法就两种，一种是先排序，按升序或者按降序，然后取第一个值就可以得到最大值或最小值了，听起来很美好，但一旦数据库内数据非常多的时候，而且还是mongoDB这样的数据库，如果查一遍库才能拿到值，代价是非常大的。所以我主要采用第二种方法，也就是利用mongodbTemplate来进行管道操作来获取mongodb数据库中某一个或多个字段的最大值和最小值。
MongoTemplate 使用aggregate聚合查询
weixin_30276935的博客
03-29 2251
db.getCollection('trade').aggregate( [ 　　　　　// $match 在$group 前过滤分组前数据 $match在$group之后过滤分组后的文档 { $match : { CheckStatus : "邮件复核不一致" } }, { ...
【mongoTemplate.aggregate()聚合查询】
u012632105的博客
01-27 771
mongoTemplate.aggregate()聚合查询 - 时间-海 - 博客园
java中使用MongoTemplate和Aggregation，加入多个条件进行查询，并分页和排序显示
最新发布
樂小伍
09-04 1140
作为聚合操作的一部分，但你可以通过构建聚合管道时添加这些操作来模拟分页效果。进行多条件查询，并同时实现分页和排序，你需要构建一个包含。（用于分页）的聚合管道。不过，需要注意的是，以下是一个示例，展示了如何使用。框架本身不直接支持分页的。
mongoDB 示例 ：使用mongoTemplate进行Aggregation聚合查询
stateCelebrateking的专栏
07-16 3063
需求：在订单表中，根据buyerNick分组，统计每个buyerNick的电话、地址、支付总金额以及总商品数，返回结果是CustomerDetail。 /* * project:列出所有本次查询的字段，包括查询条件的字段和需要搜索的字段； * match:搜索条件criteria * unwind：某一个字段是集合，将该字段分解成数组 * group：分组的字段，以及聚合相关查询 * sum：求和(同sql查询) * count：数量(同sql查询) * ..
mongotemplate.aggregate
08-03
mongotemplate.aggregate是Spring Data MongoDB提供的一种聚合操作方法，用于对MongoDB数据库中的数据进行聚合操作，可以实现类似于SQL中的GROUP BY、SUM、COUNT等操作。通过mongotemplate.aggregate方法，可以使用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值