TPC-DS 生成数据

前言：服务器环境linux 使用mysql 本机windows

一.下载tpcds以及编译：

1. 官网 or github （https://github.com/gregrahn/tpcds-kit.git）
   用scp将压缩包上传到服务器，在linux上解压
   .zip文件解压： 如果unzip不行 下载7zip 用
   7za x tpcds-kit-master.zip
2. 进入tools目录编译
   make

二.创建表

1. mysql中建一个新的数据库
   create database train;
   在train中创建tools/tpcds.sql里的25张表 直接复制粘贴create语句即可

三.生成数据

1. 在tpcds文件夹下新建data文件
   mkdir data

2. 在tools目录执行 ./dsdgen -DIR /home/xyhong/tpcds/data/ -SCALE 1 表示生成1G的数据 放在data下
   生成数据需要等几分钟，成功后data中会有25个.dat文件 对应上面的25张表

3. 将25个.dat文件导入mysql数据库表中
   连mysql
   use train
   以表store_returns为例执行
   LOAD DATA INFILE ‘/home/xyhong/tpcds/data/store_returns.dat’ INTO TABLE store_returns FIELDS TERMINATED BY ‘|’ LINES TERMINATED BY ‘\n’;
   有两处需要替换的地方，以此类推导入25个表数据

ps：（1）报错ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement
关于secure-file-priv的问题 先查看当前的secure-file-priv值，
show variables like ‘%secure%’;
若为NULL，表示限制不能导入导出数据，需要在mysql-5.7/my.cnf中修改该值
加上secure_file_priv=’’
重启服务器，不是exit重连，而是 重启服务，以使my.cnf生效
关闭服务 ./mysqladmin --defaults-file=/home/xyhong/mysql-5.7/my.cnf -uroot -p shutdown
启动服务 ./mysql-5.7/bin/mysqld_safe --defaults-file=/home/xyhong/mysql-5.7/my.cnf --user=xyhong &
（2）报错Incorrect integer value ：’’ for column ‘xxxx’ at row xx
修改my.cnf 设置sql-mode=“NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION” 重启mysql服务

4. 对25张表加外键约束
   文件在tools/tpcds_ri.sql中，与创建表的方法类似，可以用python处理下，一起执行

ps: 报错 ERROR 1452 (23000) : Cannot add or update a child row: a foreign key constraint fails …
输入 SET FOREIGN_KEY_CHECKS = 0 再执行一次

四.生成sql

在/tpcds下新建文件夹sql
mkdir sql

若生成一个sql语句
./dsqgen -DIRECTORY …/query_templates/ -TEMPLATE “query1.tpl” -DIALECT netezza -FILTER Y > …/sql/query1.sql

在tools文件夹下编写shell脚本gen.sh 生成99个sql

#!/bin/sh
for i in `seq 1 99`
do
./dsqgen -directory ../query_templates/ -template "query${i}.tpl" -dialect netezza -filter y > ../sql/query${i}.sql
done

执行 ./gen.sh

然后就能看到99条查询啦 撒花~