Docker环境下导入TPC-DS数据到Oracle

TPC-DC简介

TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表，17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询，SQL案例比较复杂。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集，也是难度较大的一个测试集。

TPC-DC生成数据

生成数据和导入数据的思路请参考该文章。

SQLLDR数据加载所需要的ctl文件

链接：https://pan.baidu.com/s/19eZSU4tGKF9irj1twddGkA
提取码：98hl

将数据导入到Oracle中

1. 先将.sql文件和生成的.dat数据文件、.ctl脚本文件上传到docker中

docker cp /本地文件路径 containerID:/docker路径

2. 进入docker中的oracle命令行

docker exec -it containerID /bin/bash

3. 创建表

sqlplus userName/password @/上传到docker中的路径/tpcds.sql

5. 导入数据

sqlldr userid=userName/password control=/上传到docker中的路径/web_site.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/dbgen_version.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/date_dim.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/customer_address.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/customer_demographics.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/warehouse.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/ship_mode.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/time_dim.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/reason.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/income_band.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/item.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/store.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/call_center.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/customer.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/store_returns.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/household_demographics.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/web_page.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/promotion.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/catalog_page.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/inventory.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/catalog_returns.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/web_returns.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/web_sales.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/catalog_sales.ctl
sqlldr userid=userName/password control=/上传到docker中的路径/store_sales.ctl

注意：
1、如果sqlplus、sqlldr命令找不到，建议执行source /ect/profile 或者直接进入oracle安装的bin目录下执行。
2、若遇到执行权限的问题，建议执行的脚本执行chmod命令添加权限。
3、若遇到写日志的权限问题，建议进入docker的有写入权限的目录执行。