TPC-DI: The First Industry Benchmark forData Integration

TPC：事务处理性能委员会

小型的数据集成：一系列定制化的程序，数据库的存储过程实现。

中大型数据集成：使用通用的数据集成工具

两种load进程：

historical load：load所有数据

incremental update：插入、更新、删除数据

源数据模型：

CDC（change data capture），距上次修改过的数据，

HR system，包括人员信息，在historical load中一次读进来

CRM system，用户-账户信息，OLTP源，使用historical load

prospect data：潜在客户信息，有可能与现有重复

finwire data：每三个月的数据放在一个文件中

reference data：参考的数据，比如汇率信息，税率等

目标数据模型：

暴风雪结构（整合了雪花结构（整合了星型结构））

数据集：人工数据和真实数据混合

执行规则：

两种执行规则：历史加载，周期增量更新

评价指标：

为了保证结果长期有效，并且不会出现不同维度的比较，定义了一个整体性能评价标准，和一个价格性能评价标准

执行时间是历史加载和周期增量更新的几何平均，看待大数字和小数字一样，100到90和10到9一样。