Spring Data MongoDB aggregate添加allowDiskUse属性

mongo对大数据集进行aggregate集合操作,处理各stage阶段中,为了避免 pipeline 的 stage 的内存使用超过 100 MB 而报错。需要设置allowDiskUse为true使用系统缓存,以临时文件进行存储。

Spring Data MongoDB api不同版本对allowDiskUse设置的操作写法不同。
对于Spring Data MongoDB 1.5.x以上2.0版本以下版本并没有提供显式的封装需要自己创建:

AggregationOptions aggregationOptions = new AggregationOptions(true, false, null);

传参true设置allowDiskUse属性。
2.0及以上版本提供内部静态类,以builder的方式设置:

AggregationOptions aggregationOptions = AggregationOptions.builder().allowDiskUse(true).build();

使用示例:

TypedAggregation<Device> countAggr = Aggregation.newAggregation(Device.class,
                Aggregation.match(criteria), Aggregation.group().count().as("count")).withOptions(aggregationOptions);
        AggregationResults<Document> aggregate = mongoTemplate.aggregate(countAggr, Document.class);

也可以使用原生的写法进行设置,示例:

   List<Document> aggregatelist = new ArrayList<>();
   //条件1
        Document matchdoc = new Document("$match",
                new Document("countycode", new Document("$exists", true)));
  //条件2
        Document groupdoc = new Document("$group",
                new Document("_id",
                        new Document("areacode", "$areacode").append("countycode", "$countycode")
                                .append("countyname", "$countyname").append("manufacturer",
                                        "$manufacturer")).append("totalcount",
                                                new Document("$sum", 1)));

        aggregatelist.add(matchdoc); //{}查询条件
        aggregatelist.add(groupdoc); //{}查询条件
        
    MongoConnectionPool.getDatabase(“数据库名”).getCollection("表名")
                    .aggregate(aggregatelist).allowDiskUse(true).iterator()
  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spring Data MongoDB 中,可以使用 Aggregation Framework 来进行多表分组。下面是一个示例: 假设我们有两个集合,一个是 orders,另一个是 customers,orders 集合中有一个字段 customer_id,表示订单所属的客户。现在我们想要按照客户性别统计他们的订单数量。可以使用以下代码实现: ```java import org.springframework.data.mongodb.core.MongoTemplate; import org.springframework.data.mongodb.core.aggregation.Aggregation; import org.springframework.data.mongodb.core.aggregation.Fields; import org.springframework.data.mongodb.core.aggregation.LookupOperation; import org.springframework.data.mongodb.core.query.Criteria; import org.springframework.stereotype.Repository; import java.util.List; @Repository public class OrderRepositoryImpl implements OrderRepositoryCustom { private final MongoTemplate mongoTemplate; public OrderRepositoryImpl(MongoTemplate mongoTemplate) { this.mongoTemplate = mongoTemplate; } @Override public List<OrderCountByGender> countOrdersByGender() { LookupOperation lookupOperation = LookupOperation.newLookup() .from("customers") .localField("customer_id") .foreignField("_id") .as("customer"); Aggregation aggregation = Aggregation.newAggregation( lookupOperation, Aggregation.project("customer.gender"), Aggregation.group("customer.gender").count().as("count"), Aggregation.project(Fields.fields("count")).and("gender").previousOperation() ); return mongoTemplate.aggregate(aggregation, "orders", OrderCountByGender.class).getMappedResults(); } } ``` 其中 OrderCountByGender 是一个 POJO 类,用于存储按照性别统计的订单数量: ```java public class OrderCountByGender { private String gender; private Long count; // getters and setters } ``` 在上面的代码中,我们使用 LookupOperation 将 orders 集合中的 customer_id 与 customers 集合中的 _id 关联起来。然后,使用 Aggregation 进行分组统计,最后使用 mongoTemplate.aggregate 方法执行聚合操作,并将结果映射到 OrderCountByGender 类型的对象列表中返回。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值