Mongodb指定字段去重后返回所有数据（原生语句实现）

需求：根据指定字段去重返回所有数据

• 首当其冲想到的是Distinct关键字

1. 语法

db.collection.distinct(
   field,
   query,
   options
)

distinct方法包含三个参数，field表示要检索唯一值的字段，query表示检索时使用的查询语句，options包括projection和sort等选项。

1. 直接上查询截图

db.getCollection("TestCode").distinct("Fields.param0",
{ $and : [{"Machines" : /.*天平.*/i},
{"ProductName" : { $ne : "停用" }}] }
)

只出现了去重字段的1列数据，这不是需要的结果。

• 然后想到了分组

1. 三种分组方式

• • group(效率不高，先筛选然后分组，不支持分片，对数据量有所限制)
  • mapreduce(效率较低，基于js引擎，单线程执行，用来后台统计数据)
  • aggregate(效率高，性能好，使用简单)

1. 直接上第三种（原来是一个函数）

MongoDB 中聚合(aggregate)主要用于处理数据(诸如统计平均值，求和等)，并返回计算后的数据结果。

有点类似 SQL 语句中的 count(*)。

语法：

db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。

MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。

表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。

这里我们介绍一下聚合框架中常用的几个操作：

• $project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。
• $match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。
• $limit：用来限制MongoDB聚合管道返回的文档数。
• $skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。
• $unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。
• $group：将集合中的文档分组，可用于统计结果。
• $sort：将输入文档排序后输出。
• $geoNear：输出接近某一地理位置的有序文档。

1. 直接上查询结果

db.getCollection("TestCode").aggregate([
{$match:{ $and : [{"Machines" : /.*天平.*/i},
{"ProductName" : { $ne : "停用" }}] }},
{$group:{_id : "$Fields.param0",data:{$first:"$$ROOT"}}},
{$project:{data:1,}}
])

 

注.数据在data里面点开其中一个就是表中所有数据

至此，需求结束。

• 排序、分页

1. 直接上截图

db.getCollection("TestCode").aggregate([

{$match:{ $and : [{"Machines" : /.*天平.*/i},

{"ProductName" : { $ne : "停用" }}] }},

{$group:{_id : "$Fields.param0",data:{$first:"$$ROOT"}}},

{$project:{data:1,}},

{"$sort":{"CreateTime":-1}}, //排序

{"$skip":0},{"$limit":10}//分页

])