B站的文本编辑器真的太难用了。
为了更好的阅读体验建议去我的github blog看这篇文章:https://nintha.github.io/2018/05/15/MongoDB%E5%9F%BA%E4%BA%8E%E6%97%B6%E9%97%B4%E6%AE%B5%E7%9A%84%E8%81%9A%E5%90%88%E6%9F%A5%E8%AF%A2/
前言
最近写了一个爬虫对B站的视频统计数据进行追踪,每2分钟爬取一次存在mongo里,然后用这些数据画折线图。这个时候问题来了,如果我爬取了一年的数据,进行数据展示的时候,不应该把一年的数据都从数据库里读取出来,对于年这样大粒度统计,应该以每天抽取一条记录就OK了;当想看一天内的数据变化,又要以分钟为粒度进行记录抽取。
基本的mongo查询语法已经难以解决均匀抽样查询记录了,这时就需要聚合查询这样的工具。
Mongo聚合查询
先看下存储的数据结构,其中ctime代表了这条记录的创建时间。
{
"_id" : ObjectId("5ae738594cb3ed1a60210042"),
"aid" : NumberLong(22755224),
"view" : NumberLong(18649),
"danmaku" : NumberLong(533),
"favorite" : NumberLong(1027),
"reply" : NumberLong(553),
"coin" : NumberLong(1896)

本文介绍了如何使用MongoDB进行基于时间的分组聚合查询,以解决数据展示时的均匀抽样问题。通过实例展示了如何利用$match、$group和$sort等操作进行时间区间划分和数据筛选,以及如何在SpringData中使用mongoTemplate实现相同的功能。
最低0.47元/天 解锁文章
3191

被折叠的 条评论
为什么被折叠?



