如何进行TPS-DS测试

最新推荐文章于 2024-08-19 19:55:55 发布

筱Mary

最新推荐文章于 2024-08-19 19:55:55 发布

阅读量2.6k

点赞数 1

分类专栏： TPC-DS 文章标签：测试

本文链接：https://blog.csdn.net/qq_31382921/article/details/102521883

版权

本文介绍了TPC-DS作为大数据决策支持系统性能基准的测试标准，包括其背景、测试集特点和测试流程。TPC-DS测试基准包含了对大数据集的复杂查询和统计分析，反映了真实场景的业务需求。文章详细阐述了TPC-DS与TPC-H的区别，以及如何进行环境准备、SQL语句兼容性测试、TPC-DS测试和结果整理，为大数据系统性能评估提供参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 简介

随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化，大数据管理技术得到了突飞猛进的发展。如何客观地比较不同数据管理系统，即大数据测试基准的选择，成为一个重要的研究课题。

事务性能管理委员会(TransactionProcessing Performance Council,TPC)，是目前最知名的非赢利的数据管理系统评测基准标准化组织。它定义了多组标准测试集用于客观地、可重现地评测数据库的性能。在过去二十多年间，该机构发布了多款数据库评测基准，如TPC-A、TPC-D、TPC-H和TPC-DS。其中的DecisionSupport（DS）子集，即TPC-DS，是用于评测决策支持系统（或数据仓库）的标准SQL测试集。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集，也是难度较大的一个测试集。

TPC是由十几家服务器厂商组成的（华为是该组织唯一一个中国公司）参与参与制定商务应用基准程序（Benchmark）的标准规范、性能和价格度量，并管理测试结果的发布。TPC Benchmark测试结果是服务器类设备性能拼比核心技术指标。

2 TPC-DS简介

TPC-DS测试基准是TPC组织推出的用于替代TPC-H的下一代决策支持系统测试基准。因此在讨论TPC-DS之前，先介绍一下TPC-H。

2.1 TPC-H
TPC-H是一款面向商品零售业的决策支持系统测试基准，它定义了8张表，22个查询，遵循SQL92。TPC-H基准的数据库模式遵循第三范式，叶晓俊教授等学者认为“它的数据表数据特征单一(如数据不倾斜) ，其数据维护功能仅仅限制了潜在的对索引的过度使用，而没有测试DBMS 执行真实数据维护操作——数据提取、转换和加载(ETL) 功能的能力”。同时，新兴的数据仓库开始采用新的模型，如星型模型、雪花模型。TPC-H已经不能精准反映当今数据库系统的真实性能。为此，TPC组织推出了新一代的面向决策应用的TPC-DS 基准。

2.2 TPC-DS
TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表，17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询，覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的&