TPC-DI: The First Industry Benchmark forData Integration

TPC:事务处理性能委员会

小型的数据集成:一系列定制化的程序,数据库的存储过程实现。
中大型数据集成:使用通用的数据集成工具

两种load进程:
historical load:load所有数据

incremental update:插入、更新、删除数据

源数据模型:
CDC(change data capture),距上次修改过的数据,

HR system,包括人员信息,在historical load中一次读进来

CRM system,用户-账户信息,OLTP源,使用historical load

prospect data:潜在客户信息,有可能与现有重复

finwire data:每三个月的数据放在一个文件中

reference data:参考的数据,比如汇率信息,税率等


目标数据模型:
暴风雪结构(整合了雪花结构(整合了星型结构))


数据集:人工数据和真实数据混合


执行规则:
两种执行规则:历史加载,周期增量更新


评价指标:
为了保证结果长期有效,并且不会出现不同维度的比较,定义了一个整体性能评价标准,和一个价格性能评价标准

执行时间是历史加载和周期增量更新的几何平均,看待大数字和小数字一样,100到90和10到9一样。 
阅读更多
个人分类: 论文笔记
上一篇TARDiS:A Branch-and-Merge Approach To Weak Consistency
下一篇linux中安装Sbt、编译scala程序
想对作者说点什么? 我来说一句

Brainbench Java Test

2011年11月24日 844KB 下载

Altera DSP

2015年03月26日 462KB 下载

没有更多推荐了,返回首页

关闭
关闭