B站的文本编辑器真的太难用了。
为了更好的阅读体验建议去我的github blog看这篇文章:https://nintha.github.io/2018/05/15/MongoDB%E5%9F%BA%E4%BA%8E%E6%97%B6%E9%97%B4%E6%AE%B5%E7%9A%84%E8%81%9A%E5%90%88%E6%9F%A5%E8%AF%A2/
前言
最近写了一个爬虫对B站的视频统计数据进行追踪,每2分钟爬取一次存在mongo里,然后用这些数据画折线图。这个时候问题来了,如果我爬取了一年的数据,进行数据展示的时候,不应该把一年的数据都从数据库里读取出来,对于年这样大粒度统计,应该以每天抽取一条记录就OK了;当想看一天内的数据变化,又要以分钟为粒度进行记录抽取。
基本的mongo查询语法已经难以解决均匀抽样查询记录了,这时就需要聚合查询这样的工具。
Mongo聚合查询
先看下存储的数据结构,其中ctime代表了这条记录的创建时间。
{
"_id" : ObjectId("5ae738594cb3ed1a60210042"),
"aid" : NumberLong(22755224),
"view" : NumberLong(18649),
"danmaku" : NumberLong(533),
"favorite" : NumberLong(1027),
"reply" : NumberLong(553),
"coin" : NumberLong(1896)