关闭

TPC-DI: The First Industry Benchmark forData Integration

66人阅读 评论(0) 收藏 举报
分类:
TPC:事务处理性能委员会

小型的数据集成:一系列定制化的程序,数据库的存储过程实现。
中大型数据集成:使用通用的数据集成工具

两种load进程:
historical load:load所有数据

incremental update:插入、更新、删除数据

源数据模型:
CDC(change data capture),距上次修改过的数据,

HR system,包括人员信息,在historical load中一次读进来

CRM system,用户-账户信息,OLTP源,使用historical load

prospect data:潜在客户信息,有可能与现有重复

finwire data:每三个月的数据放在一个文件中

reference data:参考的数据,比如汇率信息,税率等


目标数据模型:
暴风雪结构(整合了雪花结构(整合了星型结构))


数据集:人工数据和真实数据混合


执行规则:
两种执行规则:历史加载,周期增量更新


评价指标:
为了保证结果长期有效,并且不会出现不同维度的比较,定义了一个整体性能评价标准,和一个价格性能评价标准

执行时间是历史加载和周期增量更新的几何平均,看待大数字和小数字一样,100到90和10到9一样。 
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:16323次
    • 积分:647
    • 等级:
    • 排名:千里之外
    • 原创:77篇
    • 转载:0篇
    • 译文:3篇
    • 评论:2条
    最新评论