数据仓库
文章平均质量分 66
专注数据仓库30年~
小狼躲藏
专注于数据仓库、治理、数据分析领域
展开
-
【数据仓库】-多问数仓
Q1:对于数据仓库的理解,数据仓库解决什么问题?1. 数据仓库可以理解为一个大的数据集合,它的功能是面向数据分析和决策支持;2. 数据仓库不生产数据,它所有的数据都是同步自业务系统,而众多业务系统数据会面临着分散,异构,多源性等问题,不便于进行数据分析,所以就需要数据仓库来对生产数据进行整合、处理后再对用户进行提供,提升用户对数据的提取效率;3. 从数据仓库定义来看,它是一个面向主题的,集成的,相对稳定和反应历史变化的数据集合,也较好的说明了数据仓库的特点和对分析场景的支持;Q2:...原创 2021-04-26 10:42:35 · 288 阅读 · 0 评论 -
一个真实的数仓项目总结
背景1.公司业务整合,指标管理混乱,数据不一致问题严重,另外指标的开发和迭代效率也比较低;2.举措:进行集团指标认证,数据指标重新开发;建设前面临的问题1.指标非常多,业务复杂,变化快;2.人少,排期紧张,如果提高开发效率;3.核心诉求满足:数据一致性;数据开发效率高,响应快;用户理解使用效率高;入手点1.面向需求,采用维度建模;2.参考OneData方法论进行指标设计思考,解决指标一致性问题(同名同义,异名异义)3.参考OneModel规范定义的思考..原创 2021-03-18 13:09:12 · 1624 阅读 · 0 评论 -
【模型评审】- 模型记分卡
知识关键点√ 数据模型记分卡是一种积极,有效的数据模型质量评价方法。√ 在数据建设初期使用记分卡可以有效降低返工几率,即便一些新手也可以对数据模型提出改进意见。√ 记分卡并非专用性技术,可以在任何项目中加以应用。 在数据质量管理中经常容易被忽略的一个问题就是数据模型的质量。在项目开发过程中,我们经常以数据库设计为单一目标,而进行快速的数据模型构建,然而数据模型的意义却是深远,持久的。数...原创 2019-06-04 09:20:57 · 1713 阅读 · 0 评论 -
【数据仓库】- 数据分层
目录一. 数据分层的原因二. 数据分层的意义三. 如何设计数据分层四. 数据分层的思考一. 数据分层的原因首先从宏观上来讲,数据分层是为了更好的去组织、管理、维护和使用数据。为了达到以上目的,采用了数据解耦的方式来实现,而数据分层就是解耦的方式之一,另外一种方式就是主题域划分。数据分层不是为了分层而分层,分层是为了解决ETL任务及工作流的组织、数据的流向、读写权限的控制、不同场景满足等各类实际问题的。越上层的模型,聚合程度越高,对数据应用越友好,但可理解程度就越低。越偏近底层原创 2021-03-10 18:21:02 · 1764 阅读 · 1 评论