- 博客(2)
- 收藏
- 关注
RSS订阅原创 报表统计踩坑记录
报表统计—个人踩坑记录 前提 第一次接触报表统计，踩坑内容： 1.数据量及其的大（怕是我没有见过世面~） 2.存储位置不合理，导致数据筛选等困难（不仅位置不合理，还没有索引） 3.报表工具使用存在问题，导致数据缓存占满部署文件夹，导致启动服务异常 4.在接触此之前，并没有使用过mongo和hive等大数据存储中间件。 第一个使用的坑 数据来源问题不说，该坑是统计点击频次（类似于），是通过点击的日志数据进行的数据分析，但是我发现这个数据存在了mongo表里、数据量过亿（3亿）并且只有一个时间索引，看完之后心态
2021-05-16 15:39:38
137
原创 小太阳的菜鸟经历---之mongo篇
mongo聚合框架 概念（个人理解） 个人理解：这个是mongo专本用来统计数据使用的。 通过管道处理集合中的文档。 例如：筛选（filtering），投射（projecting）， 分组（grouping），排序（sorting）， 限制（limiting），跳过（skipping）。 优点 简化应用程序代码 约束资源需求 发现的坑-也许是我使用问题 超大数据集索引尽量就不要创建了（eg:亿级就不要尝试了）。 （我比较菜，这个是有故事的
2021-04-18 13:21:45
123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人