TPC-DS 生成数据

原创 2015年07月07日 00:03:08

简介

其实,使用 TPC-DS 生成系统性能测试的数据,说简单也简单,说难,确实也不好做!

关键是在每一步的操作中,如果遇到了问题,该怎么样处理,这个是个问题的关键。

下面就将生成的步骤简单描述一下,好记性不如烂笔头呀!


生成步骤


1.在官网上(http://www.tpc.org/tpcds/ )去下载最新的:TPC-DS. 


2.解压: 下载的 zip 文件放在 linux 上解压,并进入他的 tools 目录.


3.编译:make (忽略编译警告,只保证生成过程成功完成). 这里需要linux安装上了 gcc , gcc c++, expect 等.


4.生成数据:在tools目录下执行:./dsdgen -scale 5 -force (-force:会覆盖原来生成的data,否则不覆盖);生成的25个.dat 的数据文件.


5.创建相应的表,命令:mysql -u <your_mysql_user> -p < tpcds.sql <your_db_name> 这是以mysql为例子. 输入密码,
等待执行完成,对应的就会在你的 your_db_name 中生成相应的 25 张表。


6.将每个.dat的数据文件放进对应的数据库中,使用如下命令:
LOAD DATA INFILE 'your_DAT_filename' INTO TABLE table_the_DAT_file_is_for FIELDS TERMINATED BY '|' LINES TERMINATED BY '\n'
your_DAT_filename:*.dat;
table_the_DAT_file_is_for:tableName;


通过以上六步骤,就可以将 TPC-DS 数据全部 load 到对应的表中去,也就生成了相应的测试数据了.


可能出现的错误


1.1292 (22007): Incorrect date value: '' for column 'wp_rec_end_date' at row 1


方式一:在my.ini里找到
sql-mode=”STRICT_TRANS_TABLES,NO_AUTO_Create_USER,NO_ENGINE_SUBSTITUTION”
把其中的 STRICT_TRANS_TABLES 去掉,然后重启mysql就ok了


方式二:
a. select @@sql_mode; 查看有哪些模式.


b.set @@sql_mode=NO_ENGINE_SUBSTITUTION,...;  不要STRICT_TRANS_TABLES模式就好.


错误可能还会出现,也会有很多,就看你是怎么处理了,后边的再补上... ... 


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

使用tpc-ds生成测试数据过程

###原文地址:http://www.innovation-brigade.com/index.php?module=Content&type=user&func=display&tid=1&pid=...

大数据基准测试——TPC-H or TPC-DS

随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化,大数据管理技术得到了突飞猛进的发展。一般来说,大数据具有3V特性,即Volume(海量)、Velocity...

SQL on Hadoop TPCDS性能测试

本测试,重点性能测试4个维度,测试对象为主流SQL on Hadoop性能表现,为技术选型做一些参考,由于硬件资源有限,本测试数据集比较小,前提是所有数据保证都能装载到内存. 内容还涉及到了SQL ...

TPC-DS 生成数据

简介 其实,使用 TPC-DS 生成系统性能测试的数据,说简单也简单,说难,确实也不好做! 关键是在每一步的操作中,如果遇到了问题,该怎么样处理,这个是个问题的关键。 下面就将生成的步骤简单描述...

解析大数据基准测试——TPC-H or TPC-DS

随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化,大数据管理技术得到了突飞猛进的发展。一般来说,大数据具有3V特性,即Volume(海量)、Velocity...

Hadoop基准测试HiBench 学习笔记 - 1

一、准备工作 操作系统 centOS 64 位 JDK 1.7   maven  hadoop 2.6 github下载HiBench 4.0 运行 bin/build-all.sh编译 ...
  • hjh00
  • hjh00
  • 2015-12-11 11:32
  • 4469

大数据分析的八大趋势

Intuit数据工程副主管Loconzolo双脚都已经迈进数据湖里了。Smarter Remarketer首席数据科学家DeanAbbott也为云技术的发展指出了捷径。他们二人一致认为, 大数据与...

D3js 获取X,Y轴坐标

D3 就不多做介绍了,是一个非常强大的作图的工具。它到底怎么样,有多强大,看看官网d3js.org 就知道了. 参考地址: 1. http://www.pkuwwt.tk/d3-tutorial-...

tpc-ds 1.3.1的dsqgen生成查询sql用法

./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scal...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)