TPC:事务处理性能委员会
小型的数据集成:一系列定制化的程序,数据库的存储过程实现。
中大型数据集成:使用通用的数据集成工具
两种load进程:
historical load:load所有数据
incremental update:插入、更新、删除数据
源数据模型:
CDC(change data capture),距上次修改过的数据,
HR system,包括人员信息,在historical load中一次读进来
CRM system,用户-账户信息,OLTP源,使用historical load
prospect data:潜在客户信息,有可能与现有重复
finwire data:每三个月的数据放在一个文件中
reference data:参考的数据,比如汇率信息,税率等
目标数据模型:
暴风雪结构(整合了雪花结构(整合了星型结构))
数据集:人工数据和真实数据混合
执行规则:
两种执行规则:历史加载,周期增量更新
评价指标:
为了保证结果长期有效,并且不会出现不同维度的比较,定义了一个整体性能评价标准,和一个价格性能评价标准
执行时间是历史加载和周期增量更新的几何平均,看待大数字和小数字一样,100到90和10到9一样。