数据平台建设整体思路阐述和总结

最新推荐文章于 2024-03-25 18:32:44 发布

浮豹

最新推荐文章于 2024-03-25 18:32:44 发布

阅读量1.2k

点赞数 3

分类专栏：数据分析方法文章标签：数据平台数据仓库大数据

本文链接：https://blog.csdn.net/weixin_41744624/article/details/106941962

版权

本文详细阐述了数据平台的建设思路，包括数据收集、数据仓库设计、数据分析和数据应用。数据收集涉及数据库同步、埋点和工具如Flume的使用。数据仓库设计遵循最细粒度组织和大宽表原则，关注业务矩阵、事实与维度表。数据分析涵盖BI报表、多维分析到机器学习的演进。数据应用则讨论了指标体系构建、产品增值服务和内部支撑系统的构建。

摘要由CSDN通过智能技术生成

原内容来自：https://www.jianshu.com/p/73717303fd1a
删除了一些多余的话，整理了一些看不懂的格式
……………………………………………………………………

数据处理流程

在这里插入图片描述

数据收集

数据工作的第一步就是收集数据。

	优点	缺点
埋点	和业务能够紧密结合，支持灵活多变的业务需求	有码埋点对业务代码有入侵；无码埋点影响APP性能；有一定维护成本
爬虫	可以抓取应用外数据，丰富数据类型	有一定开发难度；有一定开发和维护成本；需要考虑数据的应用场景
采购	获取数据容易	注意法律红线；需要谨慎考虑数据应用场景
数据库同步	和业务数据高度一致；和业务需求天然具有关联性	对业务数据库有性能消耗，需要考虑数据库性能的极限