TPC-DS测试hadoop 安装步骤

最新推荐文章于 2024-07-02 08:14:38 发布
最新推荐文章于 2024-07-02 08:14:38 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haoxiaoyan/article/details/71515008
版权
本文详细介绍了如何下载TPC-DS工具，安装依赖，生成10T规模的数据，并通过Hadoop将数据上传到HDFS。同时，提供了创建Hive表的SQL语句以及加载数据到Parquet格式的过程。
摘要由CSDN通过智能技术生成

1.TPC-DS下载地址如下

http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp




1.  安装依赖

yum -y install gcc gcc-c++ libstdc++-devel bison byacc flex

2.  安装

unzip a3083c5a-55ae-49bc-8d6f-cc2ab508f898-tpc-ds-tool.zip

cd v2.3.0/tools

make

3.  生成数据

生成10T数据

./dsdgen -scale 10000 -dir /dfs/data

后台生成数据

 

100G数据生成（可以不同机器同时生产秩序改并行度和child后面的数字，注意并行度你自己调整，例如我这里是10，那么就要保证有10个child才能保证数据后续是完整的。）

nohup ./dsdgen -scale 100 -dir/dfs/data/  -parallel 10 -child 1 >nohup.log 2>&1 &

nohup ./dsdgen -scale 100 -dir/dfs/data/  -parallel 10 -child 2 >nohup.log 2>&1 &

nohup ./dsdgen -scale 100 -dir/dfs/data/  -parallel 10 -child 3 >nohup.log 2>&1 &

nohup ./dsdgen -scale 10000 -dir/dfs/data/  -parallel 20 -child 4 >nohup.log 2>&1 &

nohup ./dsdgen -scale 100 -dir/dfs/data/  -parallel 10 -child 5 >nohup.log 2>&1 &

nohup ./dsdgen -scale 100 -dir/dfs/data/  -parallel 10 -child 6 >nohup.log 2>&1 &

nohup ./dsdgen -scale 100 -dir/dfs/data/  -parallel 10 -child 7 >nohup.log 2>&1 &

nohup ./dsdgen -scale 100 -dir/dfs/data/  -parallel 10 -child 8 >nohup.log 2>&1 &

nohup ./dsdgen -scale 100 -dir/dfs/data/  -parallel 10 -child 9 >nohup.log 2>&1 &

nohup ./dsdgen -scale 100 -dir/dfs/data/  -parallel 10 -child 10 >nohup.log 2>&1 &


1)   将本地数据上传到HDFS

2)   用hadoop-shell命令开始上传数据：

3)   nohup hadoop fs -put /dfs/data/* /tpc_ds > nohup.log 2>&1 &

创建hive中的表

git clone https: //github .com /hortonworks/hive-testbench .git

[root@namenode01 text]# pwd
/root/hive-testbench/ddl-tpcds/text 有创建表语句，自己安装自己更改下

alltables.sql  analyze_everything.sql



create database tpc_ds;

create database tpc_ds2;

use tpc_ds;

drop table if exists call_center;

create external table call_center(

     cc_call_center_sk        bigint              

,    cc_call_center_id         string             

,    cc_rec_start_date       string                        

,    cc_rec_end_date         string                        

,    cc_closed_date_sk        bigint                      

,    cc_open_date_sk          bigint                      

,    cc_name                  string                  

,    cc_class                 string                  

,    cc_employees              int                      

,    cc_sq_ft                  int                       

,    cc_hours                 string                     

,    cc_manager               string                  

,    cc_mkt_id                 int                      

,    cc_mkt_class             string                      

,    cc_mkt_desc              string                 

,    cc_market_manager        string                  

,    cc_division               int                      

,    cc_division_name         string                  

,    cc_company                int                      

,    cc_company_name          string                     

,    cc_street_number         string                     

,    cc_street_name           string                  

,    cc_street_type            string                     

,    cc_suite_number          string                     

,    cc_city                  string                  

,    cc_county                string                  

,    cc_state                 string                       

,    cc_zip                   string                     

,    cc_country               string                  

,    cc_gmt_offset            double                 

,    cc_tax_percentage         double

)

row format delimited fields terminatedby '|'

STORED AS textfile; 

还有很多，不一一展现了。

加载数据：

LOAD DATA  inpath '/tpc_ds/call_center*.dat' INTO TABLEcall_center;


创建Partquet列式数据存储

use tpc_ds2;

create external table call_center(

     cc_call_center_sk        bigint              

,    cc_call_center_id        string             

,    cc_rec_start_date       string                        

,    cc_rec_end_date         string                        

,    cc_closed_date_sk        bigint                      

,    cc_open_date_sk          bigint                      

,    cc_name                  string                  

,    cc_class                  string                  

,    cc_employees              int                      

,    cc_sq_ft                  int                      

,    cc_hours                 string                     

,    cc_manager               string                   

,    cc_mkt_id                 int                      

,    cc_mkt_class             string                     

,    cc_mkt_desc              string                 

,    cc_market_manager        string                  

,    cc_division               int                      

,    cc_division_name         string                  

,    cc_company                int                      

,    cc_company_name          string                     

,    cc_street_number          string                     

,    cc_street_name           string                  

,    cc_street_type           string                     

,    cc_suite_number          string                     

,    cc_city                  string                   

,    cc_county                string                  

,    cc_state                 string                      

,    cc_zip                   string                     

,    cc_country               string                  

,    cc_gmt_offset            double                 

,    cc_tax_percentage         double

)

row format delimited fields terminatedby '|'

STORED AS PARQUET; 

  加载数据到partquet数据到表里：

 

INSERT OVERWRITE TABLE call_center  SELECT * FROM tpc_ds.call_center;

其他表也类似加载，之后就可以进行性能测试。


SQL语句:

select * from

(selecti_manufact_id,sum(ss_sales_price) sum_sales,avg(sum(ss_sales_price)) over(partition by i_manufact_id) avg_quarterly_sales from item,

store_sales, date_dim, store

where ss_item_sk = i_item_sk and

ss_sold_date_sk = d_date_sk and

ss_store_sk = s_store_sk and

d_month_seq in(1212,1212+1,1212+2,1212+3,1212+4,1212+5,1212+6,1212+7,1212+8,1212+9,1212+10,1212+11)and

((i_category in('Books','Children','Electronics') and

i_class in('personal','portable','reference','self-help') and

i_brand in ('scholaramalgamalg#14','scholaramalgamalg #7','exportiunivamalg #9','scholaramalgamalg #9')) or

(i_category in ('Women','Music','Men')and i_class in ('accessories','classical','fragrances','pants') and

i_brand in ('amalgimporto #1','edupackscholar #1','exportiimporto #1','importoamalg #1')))

group by i_manufact_id, d_qoy ) tmp1where case when avg_quarterly_sales > 0 then abs (sum_sales -avg_quarterly_sales)/ avg_quarterly_sales

else null end > 0.1

order by avg_quarterly_sales,sum_sales,

i_manufact_id

limit 100;

2.   Linux 缓冲

echo 3 >/proc/sys/vm/drop_caches

3.   执行时间


蘑菇丁
关注
专栏目录
在Hive/Spark上运行执行TPC-DS基准测试 (ORC和TEXT格式）
Laurence的技术博客
08-14 1077
目前，在Hive/Spark上运行TPC-DS Benchmark主要是通过早期由Hortonworks维护的一个项目：hive-testbench 来完成的。本文我们以该项目为基础介绍一下具体的操作步骤。不过，该项目仅支持生成ORC和TEXT格式的数据，如果需要Parquet格式，请参考此文《在Hive/Spark上执行TPC-DS基准测试 (Parquet格式）》。
hive-benchmark：针对Apache Hive LLAP的自动化TPC-DS和TPC-H基准
02-28
使用步骤 先决条件 Hadoop 2.2或更高版本的群集或沙盒。 Apache Hive。 在15分钟到2天之间生成数据（取决于您选择的比例因子和可用的硬件）。 在您的系统路径中安装了gcc 。 如果您的系统没有，请使用yum或apt-get进行安装。 克隆 git clone https://github.com/kcheeeung/hive-benchmark.git && cd hive-benchmark/ 个别步骤 1.建立基准 建立您要使用的基准（执行所有先决条件） TPC-DS ./tpcds-build.sh TPC-H ./tpch-build.sh 2.生成表 确定所需的数据量。 SCALE大约是＃〜GB。 支持的FORMAT包括： orc和parquet 。 TPC-DS nohup sh util_tablegentpcds.sh 10 orc TP
tpc ds安装教程 linux,TPC-DS测试hadoop 安装步骤
weixin_30609253的博客
05-10 296
1.TPC-DS下载地址如下http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp 1.安装依赖yum-y install gcc gcc-c++ libstdc++-devel bison byacc flex2.安装unzipa3083c5a-55ae-49bc-8d6f-cc2ab508f89...
hive-tpcds-sql99测试详解
最新发布
sunxunyong的博客
07-02 773
在spark创建并导入数据的表，在spark中能看到表，也能查询到数据，但是在hive中使用tez做引擎count(*)报错,select * limit 10可以，使用mr引擎可以count，可以select * limit 10。提供99个SQL查询（SQL99或2003），分析数据量大，测试数据与实际商业数据高度相似，同时具有各种业务模型（分析报告型，数据挖掘型等等）。在hive创建并导入数据的表，在spark中能看到表，但无法查看数据。（4）只需发出合法合理的命令，就有对应的结果显示。
Hadoop发行版厂商星环发布TPC-DS评测结果
江南晚来客的专栏
11-12 3951
Hadoop发行版厂商星环发布TPC-DS评测结果，结果惊人，性能和稳定性不逊于世界头号hadoop发行商Cloudera的 TPC-DS性能数据 为何星环的hadoop发行版如此高性能？ 据说星环发展于intel的hadoop核心团队？ 难道星环将引领中国大数据的浪潮？
TPC-DS
le0chang的博客
09-28 352
1、官网下载 http://tpc.org/tpc_documents_current_versions/current_specifications5.asp 2、linux环境安装 解压完成后，进入tools文件夹执行make [root@node1tpc]# cd /tools [root@node1 tools]# make 3、生成数据 在tools目录下使用./dsdgen生成数据。 –help查看帮助 常用： -DIR 生成目录 -SCALE 数据大小（单位GB） DELIMITER 字
centos7安装并导入tpcds
weixin_47664795的博客
09-28 434
centos7 安装并导入tpcds至mysql
TPC-DS tools压测工具源码下载TPC-DS_Tools_v3.2.0.zip
06-22
TPC-DS（Transaction Processing Performance Council Decision Support）是大数据领域的一个标准基准测试套件，用于评估数据仓库系统的大数据处理性能。TPC-DS Tools是一款用于执行这些基准测试的工具，它提供了...
tpcds:在Spark上运行TPC-DS基准测试的脚本
03-31
本文主要围绕如何在Spark上运行TPC-DS基准测试进行详细介绍，重点讲解相关的Shell脚本和操作步骤。 首先，理解TPC-DS测试套件： TPC-DS是一组复杂的SQL查询，设计用来模拟真实世界的商业智能应用。它包括99个不同的...
tpcds-benchmark:包含我的 TPC-DS 基准测试的 Hive 实现的存储库
07-09
TPC-DS（Transaction Processing Performance Council Decision Support）是交易处理性能委员会制定的一种决策支持系统（DSS）的基准测试标准，用于评估大数据分析系统的性能。Hive 是一个基于 Hadoop 的数据仓库...
tpc-ds_v2.11.0.zip
06-03
tpc-ds_v2.11.0+中英文手册
TPC-DS工具
04-09
TPC-DS是一套决策支持系统测试基准，主要针对零售行业。提供99个SQL查询（SQL99或2003），分析数据量大，测试数据与实际商业数据高度相似，同时具有各种业务模型（分析报告型，数据挖掘型等等）。国内目前相关的翻译文章较少。本文尝试对官网的TPC BENCHMARK DS Standard Specification（下称“原文”）进行翻译。翻译主要参照的是2017年发布的2.6.0版本。
TPC-DS测试工具v2.1.0版本
07-17
该资源包含以下工具，欢迎下载使用： 1、安装TPC-DS工具； 2、TPC-DS测试需要用到的表的建表脚本； 3、测试的query1-99模板，可以用tools工具更新；
Spark-TPC-DS:用于 TPC-DS 基准测试的 Spark 作业
05-30
Spark-TPC-DS 用于 TPC-DS 基准测试的 Spark 作业。 此代码使用来自 Databricks 的此库： : 编译时将上述库编译的jar放到lib/中，然后运行build/sbt assembly 要执行以下参数，必须提供： HDFS 数据位置（“/user/test/tpcds-data”） 比例因子 (10) HDFS 结果位置（“/user/test/tpcds-results”） N. 迭代 要执行的查询： 黑斑羚 交互的 报告 深度分析 简单的 目录
TPC-DS_Tools_v2.10.1.zip
02-26
TPC-DS_Tools_v2.10.1.zip（2019年发布） TPC-DS测试Tools、TPC-DS测试Tools、TPC-DS测试Tools 资源下载原地址 http://www.tpc.org ----- [root@node2 tpcds_3t]# unzip DSTools.zip [root@node2 tpcds_3t]# ls DSTools.zip TPCDSVersion1.3.1 [root@node2 tpcds_3t]# cd TPCDSVersion1.3.1/ [root@node2 TPCDSVersion1.3.1]# ls answer_sets dbgen2 query_templates query_variants specification tools [root@node2 TPCDSVersion1.3.1]# cd tools [root@node2 tools]# make
tpc ds安装教程 linux,TPC-DS 生成数据
weixin_34884417的博客
05-10 539
简介其实，使用 TPC-DS 生成系统性能测试的数据，说简单也简单，说难，确实也很差作！mysql关键是在每一步的操做中，若是遇到了问题，该怎么样处理，这个是个问题的关键。linux下面就将生成的步骤简单描述一下，好记性不如烂笔头呀！c++生成步骤1.在官网上(http://www.tpc.org/tpcds/ )去下载最新的：TPC-DS.2.解压: 下载的 zip 文件放在 linux 上解压...
TPC-DS测试Oracle操作步骤记录
美丽的毛毛草
11-04 788
1. 下载TPC-DS压缩包并存放到指定位置 TPC-DS_Tools_v2.10.1.zip 链接：https://pan.baidu.com/s/1IDqZN75U-j9j27ETVTQCMA 提取码：0z6m 2. 构建编译环境 Ubuntu: sudo apt-get install gcc make flex bison byacc git CentOS/RHEL: sudo yum install gcc make flex bison byacc git // 解压压缩包并进入./v2.1
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值