数仓
ITBOY_ITBOX
技术人生,管理天涯
展开
-
数仓理论之表的分类
实体表 实体表,一般是指一个现实存在的业务对象,比如用户,商品,商家,销售员等等。用户表: 用户id 姓名 生日 性别 邮箱 用户等级 创建时间 1 张三 2011-11-11...原创 2019-04-26 20:13:08 · 1482 阅读 · 5 评论 -
数仓理论之同步策略
数据同步策略的类型包括:全量表、增量表、新增及变化表、拉链表全量表:存储完整的数据。 增量表:存储新增加的数据。 新增及变化表:存储新增加的数据和变化的数据。 拉链表:对新增及变化表做定期合并。实体表同步策略实体表:比如用户,商品,商家,销售员等实体表数据量比较小:通常可以做每日全量,就是每天存一份完整数据。即每日全量。维度表同步策略维度表:比如订单状态,审...原创 2019-04-26 20:18:43 · 1683 阅读 · 0 评论 -
数仓理论之范式理论
范式概念 关系型数据库设计时,遵照一定的规范要求,目的在于降低数据的冗余性,目前业界范式有:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、巴斯-科德范式(BCNF)、第四范式(4NF)、第五范式(5NF)。范式的标准定义是:符合某一种级别的关系模式的集合,表示一个关系内部各属性之间的联系的合理化程度。通俗地讲,范式可以理解为一张数据表的表结构,符合的设计标准的级...原创 2019-04-26 20:33:45 · 425 阅读 · 0 评论 -
数仓理论之关系建模与维度建模
关系模型关系模型主要应用与OLTP系统中,为了保证数据的一致性以及避免冗余,所以大部分业务系统的表都是遵循第三范式的。维度模型维度模型主要应用于OLAP系统中,因为关系模型虽然冗余少,但是在大规模数据,跨表分析统计查询过程中,会造成多表关联,这会大大降低执行效率。所以把相关各种表整理成两种:事实表和维度表两种。所有维度表围绕着事实表进行解释。雪花模型、星型模型和星座模型...原创 2019-04-26 20:37:42 · 4933 阅读 · 0 评论