菜鸟学习笔记
文章平均质量分 63
小太阳的菜鸟经历
有个吃了睡的梦想
展开
-
报表统计踩坑记录
报表统计—个人踩坑记录 前提 第一次接触报表统计,踩坑内容: 1.数据量及其的大(怕是我没有见过世面~) 2.存储位置不合理,导致数据筛选等困难(不仅位置不合理,还没有索引) 3.报表工具使用存在问题,导致数据缓存占满部署文件夹,导致启动服务异常 4.在接触此之前,并没有使用过mongo和hive等大数据存储中间件。 第一个使用的坑 数据来源问题不说,该坑是统计点击频次(类似于),是通过点击的日志数据进行的数据分析,但是我发现这个数据存在了mongo表里、数据量过亿(3亿)并且只有一个时间索引,看完之后心态原创 2021-05-16 15:39:38 · 145 阅读 · 0 评论 -
小太阳的菜鸟经历---之mongo篇
mongo聚合框架 概念(个人理解) 个人理解:这个是mongo专本用来统计数据使用的。 通过管道处理集合中的文档。 例如:筛选(filtering),投射(projecting), 分组(grouping),排序(sorting), 限制(limiting),跳过(skipping)。 优点 简化应用程序代码 约束资源需求 发现的坑-也许是我使用问题 超大数据集索引尽量就不要创建了(eg:亿级就不要尝试了)。 (我比较菜,这个是有故事的原创 2021-04-18 13:21:45 · 134 阅读 · 0 评论