在Hive/Spark上运行执行TPC-DS基准测试 (ORC和TEXT格式）

已于 2024-05-12 13:08:17 修改
阅读量1k 收藏 1
点赞数 2
分类专栏： 付费专栏 文章标签： hive spark tpc-ds orc csv
于 2023-08-14 17:09:00 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/bluishglc/article/details/132279064
版权
付费专栏 专栏收录该内容
96 篇文章 27 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了如何在Hive/Spark环境（AWS EMR 6.11）上运行TPC-DS基准测试，主要涉及ORC和TEXT格式数据的生成、配置调整、数据表创建以及使用Tez和Spark引擎执行测试语句。通过hive-testbench项目，详细阐述了不同格式数据的生成方法，包括在S3上创建数据表的步骤。
摘要由CSDN通过智能技术生成
《大数据平台架构与原型实现：数据中台建设实战》 博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。

目前，在Hive/Spark上运行TPC-DS Benchmark主要是通过早期由Hortonworks维护的一个项目：hive-testbench

了解本专栏 订阅专栏 解锁全文
Laurence　
关注
专栏目录
订阅专栏
在Hive/Spark上执行TPC-DS基准测试 (PARQUET格式）
Laurence的技术博客
08-16 740
在上一篇文章：《在Hive/Spark上运行执行TPC-DS基准测试 (ORC和TEXT格式）》中，我们介绍了如何使用 hive-testbench 在Hive/Spark上执行TPC-DS基准测试，同时也指出了该项目不支持parquet格式。 如果我们想要生成parquet格式的测试数据，就需要使用其他工具了。本文选择使用另外一个开源项目，它和 hive-testbench 项目非常接近，操作方法也很类似，如果你熟悉
spark-tpc-ds-performance-test：使用TPC-DS基准测试Spark SQL性能
02-03
通过在Spark上运行TPC-DS查询，我们可以对Spark SQL的执行效率进行详尽的测试，找出性能瓶颈并进行优化。 本项目“spark-tpc-ds-performance-test”旨在提供一个完整的测试环境，使用Jupyter Notebook来运行TPC-DS...
Spark TPC-DS 测试
xjw916的专栏
03-16 1433
TPC-DS SPARK 测试
Hive+Tez任务内存溢出TPC-DS案例研究报告
最新发布
ntfreesky的专栏
07-21 1043
基于Hive+Tez计算框架，执行大数据基准测试TPC-DS案例，出现内存溢出问题。通过对案例的分析定位，找出导致内存溢出的根本原因，并给出合理的解决方案。本文旨在协助开发人员后续在遇到Hive+Tez内存溢出问题时，能够起到一些指导和借鉴意义。
Spark做TPC-DS性能测试
monkeyboy_tech的博客
01-31 2717
最近由于在做上云的工作，并且公司离线部分引擎是Spark，所以做了一次基于TPC-DS性能比对测试。生产了大约200GB的数据。
hive tpcds-benchmark 测试
houzhizhen的专栏
02-24 1071
Hive 性能测试工具介绍
Spark TPC-DS/H Data Gen
zhixingheyi_tian的博客
07-05 1036
Data Gen
基于国产服务器使用hive -testbench-hdp3工具测试hive的TPCDS
ITbreeze的博客
02-02 1537
基于hive -testbench-hdp3测试hive的TPC-DS数据，通过调整、设置。按照步骤能够成功完成测试，并将结果进行展示。
TPCDS测试-99条Hive基准测试流程
03-25
本篇文章将详细介绍如何进行TPCDS在Hive上的基准测试流程，以及相关的技术要点。 **一、TPCDS简介** TPCDS是一个决策支持系统的标准测试套件，包含了99个复杂的SQL查询，涵盖了多种业务场景，如数据挖掘、报表生成...
TPC-DS tools压测工具源码下载TPC-DS_Tools_v3.2.0.zip
06-22
5. **性能测试**：DSGen生成的数据集可以配合其他工具（如Apache Hive、Impala或Spark SQL）执行TPC-DS的查询集，这些查询涵盖了各种复杂的SQL操作，以全面评估系统的查询性能、并发处理能力和稳定性。 6. **结果...
tpcds-benchmark:包含我的 TPC-DS 基准测试的 Hive 实现的存储库
07-09
Hive 在执行 TPC-DS 查询时，会将 SQL 语句转换为 MapReduce 或 Tez 作业在 Hadoop 集群上运行。MapReduce 是一种分布式计算模型，适合大规模数据处理，而 Tez 是 Hadoop 上的一个更高效的任务执行框架，提供了更...
tpcds:在Spark上运行TPC-DS基准测试的脚本
03-31
tpcds 在Spark上运行TPC-DS基准测试的脚本
Spark-TPC-DS:用于 TPC-DS 基准测试的 Spark 作业
05-30
Spark-TPC-DS 用于 TPC-DS 基准测试的 Spark 作业。 此代码使用来自 Databricks 的此库： : 编译时将上述库编译的jar放到lib/中，然后运行build/sbt assembly 要执行以下参数，必须提供： HDFS 数据位置（“/user/test/tpcds-data”） 比例因子 (10) HDFS 结果位置（“/user/test/tpcds-results”） N. 迭代 要执行的查询： 黑斑羚 交互的 报告 深度分析 简单的 目录
hive-benchmark：针对Apache Hive LLAP的自动化TPC-DS和TPC-H基准
02-28
建立您要使用的基准（执行所有先决条件） TPC-DS ./tpcds-build.sh TPC-H ./tpch-build.sh 2.生成表 确定所需的数据量。 SCALE大约是＃〜GB。 支持的FORMAT包括： orc和parquet 。 TPC-DS nohup sh util_...
使用TPCDS或者hive-testbench-hdp3生成数据
weixin_44343217的博客
03-16 786
下载官网可能需要连接外网VPN才能下载。将下载好的安装包解压到路径/opt/tpcds并改名字为tpcds3.2.0安装编译环境编译tpcds进入tools目录在该目录下执行make命令进行编译make生成数据，生成数据大小和生成数据目录按自己需求配置完成后进入生成数据的目录即可看到生成的数据。由于生成的数据不能直接导入数据库中，所以需要手动导入建表语句保存在tools目录下的tpcds.sql文件中，需做一定的修改。依次导入25张表的数据。存在的问题。
LAS Spark 在 TPC-DS 的优化揭秘
m0_60025795的博客
10-11 583
针对数据库不同的使用场景 TPC 组织发布了多项测试标准。TPC-DS 采用星型、雪花型等多维数据模式。它包含 7 张事实表，17 张纬度表，平均每张表含有 18 列。其工作负载包含 99 个 SQL 查询，覆盖 SQL 99 和 2003 的核心部分以及 OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值有倾斜，与真实数据一致。可以说 TPC-DS 是一个与真实场景非常接近的测试集，难度较大，覆盖场景广，能有效反应不同业务的需求。
spark benchmark tpcds_sf5120_withdecimal_withdate_withnulls 各表分区数和记录数
houzhizhen的专栏
07-12 319
tpcds_sf5120_withdecimal_withdate_withnulls 各表分区数和记录数。
探索Spark SQL的性能：利用TPC-DS工作负载测试
gitblog_00054的博客
06-04 567
探索Spark SQL的性能：利用TPC-DS工作负载测试 项目地址:https://gitcode.com/IBM/spark-tpc-ds-performance-test Apache Spark是一个广泛使用的分布式数据处理引擎，以其速度、易用性和高级分析功能而闻名，提供了Java、Scala、Python、R和SQL等多种API。其统一的优化引擎旨在以最小化磁盘I/O和CPU使用为原则，...
Hive基准测试神器-hive-testbench
Dreamershi的专栏
08-10 3836
TPC-DS测试概述 在对Hive的语法及性能进行测试时，需要构造大量数据，TPC-DS测试基准是TPC组织推出的用于替代TPC-H的下一代决策支持系统测试基准。在使用TPC-DS时需要进行编译，生成数据以及查询SQL还要把Hive建表语句进行修改手动创建，数据也需要再上传hdfs，操作比较麻烦，数据生成性能也较差。hive-testbench是Hortonwork基于TPC-H和TPC-DS封装的专门用于Hive的基准测试工具，自动生成HDFS数据，并进行建表操作，使用非常方便。 TPC-H和TPC-
cp ~/opt/hive/lib/mysql-connector-java-5.1.37.jar 是什么意思
06-13
这是一个Linux系统中的命令，它的作用是将当前用户的home目录下的opt/hive/lib目录中的mysql-connector-java-5.1.37.jar文件复制到当前目录下。该命令的语法如下： ``` cp [source] [destination] ``` 其中，source表示源文件或目录的路径，destination表示目标路径。 在该命令中，source是~/opt/hive/lib/mysql-connector-java-5.1.37.jar，表示当前用户的home目录下的opt/hive/lib目录中的mysql-connector-java-5.1.37.jar文件；destination表示当前目录，即执行该命令的终端所在的目录。执行该命令后，mysql-connector-java-5.1.37.jar文件就被复制到了当前目录下。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值