TPC-DS 生成数据

原创 2015年07月07日 00:03:08

简介

其实,使用 TPC-DS 生成系统性能测试的数据,说简单也简单,说难,确实也不好做!

关键是在每一步的操作中,如果遇到了问题,该怎么样处理,这个是个问题的关键。

下面就将生成的步骤简单描述一下,好记性不如烂笔头呀!


生成步骤


1.在官网上(http://www.tpc.org/tpcds/ )去下载最新的:TPC-DS. 


2.解压: 下载的 zip 文件放在 linux 上解压,并进入他的 tools 目录.


3.编译:make (忽略编译警告,只保证生成过程成功完成). 这里需要linux安装上了 gcc , gcc c++, expect 等.


4.生成数据:在tools目录下执行:./dsdgen -scale 5 -force (-force:会覆盖原来生成的data,否则不覆盖);生成的25个.dat 的数据文件.


5.创建相应的表,命令:mysql -u <your_mysql_user> -p < tpcds.sql <your_db_name> 这是以mysql为例子. 输入密码,
等待执行完成,对应的就会在你的 your_db_name 中生成相应的 25 张表。


6.将每个.dat的数据文件放进对应的数据库中,使用如下命令:
LOAD DATA INFILE 'your_DAT_filename' INTO TABLE table_the_DAT_file_is_for FIELDS TERMINATED BY '|' LINES TERMINATED BY '\n'
your_DAT_filename:*.dat;
table_the_DAT_file_is_for:tableName;


通过以上六步骤,就可以将 TPC-DS 数据全部 load 到对应的表中去,也就生成了相应的测试数据了.


可能出现的错误


1.1292 (22007): Incorrect date value: '' for column 'wp_rec_end_date' at row 1


方式一:在my.ini里找到
sql-mode=”STRICT_TRANS_TABLES,NO_AUTO_Create_USER,NO_ENGINE_SUBSTITUTION”
把其中的 STRICT_TRANS_TABLES 去掉,然后重启mysql就ok了


方式二:
a. select @@sql_mode; 查看有哪些模式.


b.set @@sql_mode=NO_ENGINE_SUBSTITUTION,...;  不要STRICT_TRANS_TABLES模式就好.


错误可能还会出现,也会有很多,就看你是怎么处理了,后边的再补上... ... 


版权声明:本文为博主原创文章,未经博主允许不得转载。

使用TPC-H对Hive测试

最近由于工作要求,需要对Hive进行一下测试。在一篇论文中看到使用TCP-H,上网查了一下还算是比较靠谱的一个基准测试程序,所以决定拿来一试。网上关于这方面的博客貌似很少(能力有限,没找到很多),通过...

tpc-ds 性能测试

1.安装依赖 yum -y install gcc gcc-c++ libstdc++-devel bison byacc flex 2.下载 http://www.tpc.org/tpc_do...

解析大数据基准测试——TPC-H or TPC-DS

随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化,大数据管理技术得到了突飞猛进的发展。一般来说,大数据具有3V特性,即Volume(海量)、Velocity...

使用tpc-ds生成测试数据过程

###原文地址:http://www.innovation-brigade.com/index.php?module=Content&type=user&func=display&tid=1&pid=...
  • jifei12
  • jifei12
  • 2016年03月04日 10:19
  • 1828

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

大数据基准测试 TPC-H、TPC-DS

大数据框架,多支持SQL on模式,如何测试?可参考使用TPC-H、TPC-DS。 TPC-DS测试基准是TPC组织推出的用于替代TPC-H的下一代决策支持系统(OLAP)测试基准。 参考: ...

如何进行TPS-DS测试

1     简介 随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化,大数据管理技术得到了突飞猛进的发展。如何客观地比较不同数据管理系统,即大数据测试基准的...

TPC-DS标准规范(二)

TPC-DS是一套决策支持系统测试基准,主要针对零售行业。提供99个SQL查询(SQL99或2003),分析数据量大,测试数据与实际商业数据高度相似,同时具有各种业务模型(分析报告型,数据挖掘型等等)...

SQL on Hadoop TPCDS性能测试

本测试,重点性能测试4个维度,测试对象为主流SQL on Hadoop性能表现,为技术选型做一些参考,由于硬件资源有限,本测试数据集比较小,前提是所有数据保证都能装载到内存. 内容还涉及到了SQL ...

TPC-DS建表sql

https://database.cs.brown.edu/svn/idd/scripts/tpcds/create table dbgen_version ( dv_version ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:TPC-DS 生成数据
举报原因:
原因补充:

(最多只允许输入30个字)