TPC-DI: The First Industry Benchmark forData Integration

翻译 2017年01月03日 13:54:25
TPC:事务处理性能委员会

小型的数据集成:一系列定制化的程序,数据库的存储过程实现。
中大型数据集成:使用通用的数据集成工具

两种load进程:
historical load:load所有数据

incremental update:插入、更新、删除数据

源数据模型:
CDC(change data capture),距上次修改过的数据,

HR system,包括人员信息,在historical load中一次读进来

CRM system,用户-账户信息,OLTP源,使用historical load

prospect data:潜在客户信息,有可能与现有重复

finwire data:每三个月的数据放在一个文件中

reference data:参考的数据,比如汇率信息,税率等


目标数据模型:
暴风雪结构(整合了雪花结构(整合了星型结构))


数据集:人工数据和真实数据混合


执行规则:
两种执行规则:历史加载,周期增量更新


评价指标:
为了保证结果长期有效,并且不会出现不同维度的比较,定义了一个整体性能评价标准,和一个价格性能评价标准

执行时间是历史加载和周期增量更新的几何平均,看待大数字和小数字一样,100到90和10到9一样。 

BigBench: Toward An Industry-Standard Benchmark for Big Data Analytics

Learn about BigBench, the new industrywide effort to create a sorely needed Big Data benchmark. B...
  • lanxing1251983
  • lanxing1251983
  • 2016年01月31日 06:47
  • 611

MIPI(Mobile Industry Processor Interface)技术浅谈

对于现代的智能手机来说,其内部要塞入太多各种不同接口的设备,给手机的设计 和元器件选择带来很大的难度。下图是一个智能手机的例子,我们可以看到其内部存储、显示、摄像、声音等内部接口都是各不相同的。即使以...
  • u011467537
  • u011467537
  • 2016年01月20日 13:12
  • 965

Industry

Industry(diligence)   It is a matter of course that industry will bring us success, wealth and good ...
  • max2008
  • max2008
  • 2007年06月11日 08:35
  • 576

Benchmark 性能测试简介

一、Benchmark简介 Benchmark是一个评价方式,在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architecture advanced, it b...
  • u010666884
  • u010666884
  • 2016年08月29日 18:25
  • 7154

大数据领域的Benchmark介绍

一、Benchmark简介 Benchmark是一个评价方式,在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architecture advanced, it beca...
  • u012050154
  • u012050154
  • 2016年02月24日 15:12
  • 5435

Hadoop benchmark测试及调参

Benchmark Job(hadoop测试)     在对本集群测试的过程中,我们用到了hadoop自带的测试函数,其中主要包括Teragen和Terasort两个方法。 Teragen ...
  • hanlaipeng11
  • hanlaipeng11
  • 2017年06月11日 20:41
  • 320

用BC命令做简单的benchmark

time echo "scale=5000; a(1)*4" | bc -l 用BC命令做简单的benchmark
  • xlb6688
  • xlb6688
  • 2013年09月05日 15:09
  • 605

写了一个简单的http benchmark脚本

apache benchmark只能测一个单一url,我用shell写了一个benchmark脚本,支持并发测试,指定参数,不过没有对响应时间和ret code做统计,适用在服务器端做精确统计的情况。...
  • jollyjumper
  • jollyjumper
  • 2014年03月14日 21:11
  • 1249

Benchmark Testing - 性能基准测试

最近在为项目研究benchmark testing. 因为想要知道现在产品的性能参数。benchmark测试是在数据执行层找到最有效的吞吐量的值。在做benchmark测试之前,和自动化测试一样,要知...
  • ctina
  • ctina
  • 2010年10月28日 09:59
  • 1668

Android自动测试之benchmark test 简介

Android软件测试浏览器webkitGoogle  Test On Android Devices 一、Android设备上的Benckmark测试概述 同PC相比,在And...
  • fyh2003
  • fyh2003
  • 2011年11月02日 09:40
  • 2283
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:TPC-DI: The First Industry Benchmark forData Integration
举报原因:
原因补充:

(最多只允许输入30个字)