![](https://img-blog.csdnimg.cn/direct/6572c993df4d4ad3b8c0f9c0e0385877.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数仓建设
文章平均质量分 88
讲讲数仓建设那些事,有踩坑,有实践,只是为了早下班
数据小羊
一枚工作8年的大数据开发,围绕大数据开发日常工作、技能分享,欢迎交流
展开
-
数据编织 VS 数据仓库 VS 数据湖
数据编织(Data Weaving)是一种高级数据集成技术,旨在将来自不同源头、格式各异的数据进行无缝整合,以创建一个统一的、可查询的数据视图。这种方法不同于传统的ETL(提取、转换、加载)过程,它更加灵活、动态,能够在不破坏原始数据结构的情况下创建数据之间的关联。原创 2024-07-18 18:00:00 · 1052 阅读 · 1 评论 -
大数据开发中的数据生命周期管理
上班越久,发现有些数据一直放在那里,根本没有流动,完全没有发挥价值,数据是有生命周期的,而且生命周期管理得好,工作就会更轻松。原创 2024-07-05 07:00:00 · 2162 阅读 · 5 评论 -
大数据开发中如何计算用户留存及SQL示例
留存是指用户在某一时间点(如注册日、首次使用日)后,在后续特定时间段内继续使用该产品的行为。留存率则是这些留存用户占初始用户的比例。留存率越高,说明产品越能吸引并保持用户的兴趣。评估产品吸引力:留存率高的产品通常意味着用户对产品有较高的满意度和忠诚度。指导产品优化:通过分析不同时间段的留存率,可以识别产品改进的方向,如用户体验、功能设计等。制定市场策略:根据留存数据,可以制定更有针对性的营销策略,提高用户粘性和活跃度。用户留存率是衡量产品健康度和用户粘性的重要指标。原创 2024-06-30 23:43:16 · 2034 阅读 · 14 评论 -
不止是只有维度建模,数据仓库还有Data Vault建模
在数据仓库设计中,传统的星型和雪花型模型有着各自的优势和劣势。随着数据量的增大和数据源的多样化,Data Vault(数据仓库)建模方法逐渐受到关注和应用。Data Vault建模是一种灵活、可扩展、适应性强的建模方法,特别适用于复杂和动态的数据环境原创 2024-06-27 22:42:08 · 2657 阅读 · 6 评论 -
维度建模中的事实表
通过事务型事实表、周期快照型事实表和累计快照型事实表的划分,可以更好地满足不同业务场景下的数据分析需求。事务型事实表记录最细粒度的事务数据,周期快照型事实表定期记录累计数据,累计快照型事实表则记录业务各阶段的变化情况。理解这些表的用途和特点,有助于我们在维度建模中做出更合理的数据设计。原创 2024-06-24 20:40:02 · 541 阅读 · 0 评论 -
数据仓库:不是电商业务的,就不要刻意套电商模型
通过对比统一行业标准和非统一行业标准,我们可以发现每种设计都有其独特的优势和适用场景。电子商务行业由于其业务稳定性和标准化,更适合统一行业标准的设计。而共享单车行业则由于其业务的多变性和灵活性,更适合非统一行业标准的设计。无论是哪种设计,关键是要根据具体业务需求进行合理的选择和调整。希望这篇文章能让你对数据仓库设计有一个更清晰的认识,同时在实际工作中应对各种挑战时游刃有余。记住,数据仓库设计不仅是一门技术,更是一门艺术!原创 2024-06-23 19:00:00 · 661 阅读 · 0 评论 -
如何利用数据仓库进行业务分析:一名大数据工程师的视角
构建一个完整的数据仓库流程,从数据接入、数据仓库建设到数据分析和可视化。每个环节都有其独特的重要性,只有各环节协同工作,才能充分发挥数据的价值。希望这篇文章和示例代码能帮助你更好地理解和实施数据仓库相关的工作。原创 2024-06-22 13:11:03 · 666 阅读 · 1 评论 -
数仓中数据分层的标准流向解读
数据从 ODS 层经过 DWD 层、DWS 层到 DM 层的流转过程。在每一层,数据都经过了一定的处理和转换,以适应不同的业务需求和分析场景原创 2024-06-21 23:33:06 · 1788 阅读 · 11 评论 -
深入理解数据仓库建模——数据湖、数仓一体化
本文将深入探讨数据湖与数据仓库一体化的概念、优势以及实现方法,并结合实际案例,为大家展示如何有效地实现这一目标。原创 2024-06-21 23:17:10 · 945 阅读 · 0 评论 -
数据仓库的实际应用示例-广告投放平台为例
为了更好地理解数据仓库的各个方面,我们以一个广告投放平台为例,详细说明各个层级的数据处理和使用,并附带一些代码示例。原创 2024-06-21 23:06:26 · 850 阅读 · 0 评论 -
数据仓库与数据库的区别
在数据管理和分析的过程中,我们常常会听到“数据库”和“数据仓库”这两个术语。虽然它们看起来相似,但实际上它们在设计目的、结构和使用场景上都有显著的区别。原创 2024-06-20 21:54:42 · 471 阅读 · 0 评论