构建数据仓库考虑哪些问题

• 构建数据仓库考虑哪些问题？

  • 数据粒度问题
    
    • 目前ODS层数据粒度在行记录级别，粒度级别越低，查询范围越广，粒度越高，查询越少。
  • 数据仓库技术问题
    
    • 管理大量数据并且能够将其管理好的能力。
    • 管理多种介质，磁盘–》近线存储（光盘，磁带等）–》存档存储
    • 索引及监控数据，能够支持灵活和不可预测的数据访问。例如索引、二级索引等。
    • 多种技术的接口，操作型环境抽取到数据仓库，从数据仓库集成数据集市。甚至包换多种语言技术的接入。
    • 数据的并行存储和管理。
    • 元数据管理，数据字典实现以及元数据管理。
    • 数据的有效装载能力，数据仓库中的数据需要高效的从操作型环境装载到数据仓库。
    • 具有数据压缩的能力，一般采用parquet文件存储数据。
    • 支持复合主键，例如，采用多个字段的集合作为复合主键。
    • 管理变长数据，（待定）
    • 快速恢复，发生故障，或者需要从下级存储设备导入数据仓库中，能够快速恢复数据。

• 什么是数据抽取服务？

  • 概念：将操作型环境中的数据同步到数据仓库的过程
  • 步骤：
    
    • 数据集成
      
      • 统一数据编码，eg：多个数据源的性别不一致
      • 数据的度量单位一致
      • 数据字段的统一描述一致
    • 数据装载
      
      • 历史数据的装载
      • 实时数据的装载
        
        • 扫描在操作型环境找那个那些被打上时间戳的数据
        • 扫描增量文件
        • 扫描作为事务处理副产品、或者主从同步产生的日志文件
        • 程序中双写来实现

• 数据模型和过程模型区别？

  • 过程模型，以需求为起始点，功能分解，流程结构图，伪代码。只适用于操作型环境（eg：关系型数据库）
  • 数据模型，不仅适用于操作型环境也适用于数据仓库环境。