问题①:数据分层,ods,dws,dwd,ads每层的作用,分层的好处
问题②:数据仓库建模方法,维度建模分几种,各自的结构和特点
问题③结合自己工作谈一下数据分层和数据建模
- ODS层是原数据层,未经过清洗和转换
- dwd是数据明细层,经过清洗和转换的数据,使得数据更加规范
- dws是数据汇总层,从dwd聚合而来,通常按照业务主题进行组织
- ads是数据应用层,可以用于数据分析和用户报表
分层的好处:首先,它实现了数据的隔离,让不同类型和阶段的数据在各自的层次中进行管理,这有助于保持数据处理的清晰性和有序性。其次,通过分层可以更有效地进行数据质量管理,在不同层次中针对性地清理、转换和验证数据,确保数据的准确性和可靠性。分层还能极大地增强系统的灵活性,当需要对某一层进行调整或扩展时,不会对其他层次产生过多影响,降低了系统的维护难度。同时,它也提升了数据的复用性,中间层的数据可以为多个业务场景和分析需求所用,避免重复劳动。模块化便于维护;提高查询效率;隔离数据便于数据管理;增强灵活性,可以对某一层进行修改和扩展。
问题②:数据仓库建模方法,维度建模分几种,各自的结构和特点
维度建模分为三种,星型建模,最基本的维度模型,由一个中心的事实表和围绕它的多个维度表组成
星座建模,包含多个事实表和公共的维度表,支持业务复杂的场景,但维护难度大
雪花建模:是星型模型的变体,将某些维度表进行了规范化,形成了层次化的结构。特点是数据冗余少,存储空间利用率高,但查询性能相对较差,需要更多的表连接操作。