数仓建模是数据仓库很关键的一步,需要通过建模的方法更好的组织、存储数据,以便于在性能、成本、效率和数据质量之间找到最佳平衡点,其主要关系到以下4点:
- 访问性能:能够快速查询所需的数据,减少数据I/O
- 数据成本:减少不必要的数据冗余,实现计算结果数据复用,降低大数据系统中的存储成本和计算成本
- 使用效率:改善用户应用体验,提高使用数据的效率
- 数据质量:改善数据统计口径的不一致性,减少数据计算错误的可能性,提供高质量的、一直的数据访问平台
所以,数仓建模如果做得好能够大大的提高后续工作的效率、便利性等等,判断数仓建模好坏主要根据以下5点原因:
1、业务方取数据是否方便,包括指标 维度 信息等
2、发现数据计算错误时 是否能清晰定位该逻辑整个流程逻辑
3、新业务进来时 是否能合并进现有层级
4、仓库层级数据计算中,是否完美运行并且保证批处理时效性
5、层级模型是否完整,中间表是否比较少,是否存在多层甚至多个跨层调用