Spark性能测试Terasort

最新推荐文章于 2024-06-22 09:38:45 发布
最新推荐文章于 2024-06-22 09:38:45 发布
阅读量2.2k 收藏 4
点赞数 3
分类专栏： Spark 文章标签： spark terasort
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lingeio/article/details/98875703
版权

上次做了Hadoop集群的性能测试，因为主要的大数据开发工作在Spark上，这次做一下Spark的性能测试。

CDH6.0.1环境Hadoop集群性能测试

代码参考：spark-terasort

因为使用的CDH6.0.1，Spark版本2.2.0，代码需要做一些修改，这里已经在Spark2.3源码下修改好并编译打包，放到了Spark的examples里，可以替换Spark的examples。

链接：网盘下载

 

参数的设置

参考：Spark资源优化

 

目录

1. TeraGen生成随机数

2. TeraSort排序

3.TeraValidate验证 

 

1. TeraGen生成随机数

生成随机数，Teragen指定数量参数为 k，m，g，t，如100g。

将结果输出到HDFS /benchmarks/spark-test/terasort-input。

sudo -uhdfs spark-s
最低0.47元/天 解锁文章
訾零
关注
专栏目录
[Spark进阶]--Spark RDMA技术
欢迎来到我的博客，一起探索代码里的世界！
11-09 1305
Apache Spark RDMA插件 Apache Spark™是一种用于大规模数据处理的开源，快速和通用引擎。Spark提供了一个接口，用于使用隐式数据并行和容错来编程整个集群。 概览 Apache Spark™为程序员提供了一个以数据结构为中心的API，称为弹性分布式数据集（RDD），这是一种分布在机器集群上的只读多集数据项，以容错方式进行维护。它是为了响应MapReduce集群计算范...
Spark-terasort:Spark Terasort基准测试
05-13
Spark-Terasort TeraSort是一种流行的基准测试，用于衡量在给定群集上对1 TB随机分布的数据（或所需的任何其他数据量）进行排序的时间。 它最初是用来测量Apache:trade_mark:Hadoop:registered:集群的MapReduce性能的。 在此项目中，代码将在Scala中重写，以测量Spark集群的性能。 它是对Hadoop集群的存储层（HDFS）和计算层（YARN / Spark）进行组合测试的基准。 完整的TeraSort基准测试运行包含以下三个步骤： 通过TeraGen生成输入数据。 在输入数据上运行实际的TeraSort。 通过TeraValidate验证排序的输出数据。 您无需在每次TeraSort运行之前重新生成输入数据（步骤2）。 因此，如果对生成的数据感到满意，则可以跳过第1步（TeraGen），以便以后的TeraSort运行。 包装方式 $ sbt assembly
Spark性能测试报告与调优参数
weixin_33835690的博客
11-14 194
1、代码中尽量避免group by函数，如果需要数据聚合，group形式的为rdd.map(x=>(x.chatAt(0),x)).groupbyKey().mapValues((x=>x.toSet.size)).collection() 改为 rdd.map(x=>(x.chatAt(0）,x)).countByKey();或进行reduceByKey,效率会提高3倍。 2、...
Spark 性能测试
rainbowzhouj的博客
03-12 3375
运行SparkBench 测试 尝试在单个服务器上进行SparkBench的测试。 测试平台 单台服务器测试 前置条件 了解并安装了Spark软件、SparkBench软件。 开源项目官网 安装文档 测试方法 采用SparkBench开源测试方案，对比目前的集群 生成随机数据 <Workload>/bin/gen_data.sh 运行 <Workload...
spark的性能测试
山鹰的专栏
08-01 4226
一直在使用hive做分布式大数据查询工作，越来越发现做为一个离线查询数据库来说，这样的效率真的是让人抓狂啊。网上说spark的性能是非常优越的，所以做了个环境安装了个，在centos的虚拟机上跑一下，果然性能非常的好，这个真的是令人惊喜的，在大数据的今天，人们需要大数据，又需要高效的查询效率，spark真的满足了这个需求，希望spark越来越好，spark支持hive的sql语法，这样对于关系型数
Hadoop性能测试-Benchmarking
nothair的博客
12-08 1935
2020/11/27 sunhaiqi@bonc.com.cn 文章目录Hadoop Benchmarking一、调试集群二、测试组件2.1、TestDFSIO2.1.1、向HDFS上传10个100MB的文件2.1.2、从HDFS读取10个1000MB的文件2.2、nnbench2.2.1、使用12个mapper和6个reducer创建1000个文件2.3、mrbench2.3.1、运行一个小作业50次2.4、Teragen-TeraSort-Teravalidate2.4.1、Teragen生成测试数据2
Hibench大数据基准测试手册 - 修订1.docx
09-11
- **TeraSort**：TeraSort是一个由Jim Gray创建的标准基准测试。其输入数据由Hadoop TeraGen示例程序生成。 - **Sleep**：此工作负载在每个任务中设置一段时间的休眠，以测试框架的调度功能。 - **增强DFSIO**：该...
spark terasort 排序
赴前尘
11-16 2376
1.产生数据： ./bin/spark-submit \ --class org.apache.spark.examples.TeraGen \ --master spark://centos1:7077 \ /usr/local/spark-2.2.1/examples/jars/spark-examples_2.11-2.3.3.jar \ 1g /terasort/spark/1G...
spark-sql-performance：Spark SQL的一组性能测试
02-15
spark-sql-性能 一组针对Spark SQL的性能测试
Spark性能测试报告-Spark SQL在不同存储格式下的性能对比
02-20
Spark SQL在不同存储格式下的性能对比 本文测试的目的是用来对比 Spark 三种存储格式txt、parquet、ya100的性能差异。 因机器环境以及配置的不同，测试结果可能略有差异，该测试报告仅对笔者的软硬件环境负责。
spark-terasort
05-20
Terasort 跑步 TeraGen 用法： $ spark-submit --class terasort.TeraGen --master mesos://$MESOS_MASTER terasort-spark-0.1.jar [output-size] [output-directory] 例子： $ spark-submit --class com.nexr.spark.terasort.TeraGen --deploy-mode client --master yarn spark-terasort-0.1.jar 1G /user/root/teragen TeraSort 用法： $ spark-submit --class terasort.TeraSort --master $MESOS_MASTER spark-terasort-0.1.jar
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
03-17
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
Spark TeraSort 实现与调优
Just for Fun la
03-12 4293
参考ehiggs/spark-terasort以及RDD#sortBy的代码，我自己实现了一个Spark的TeraSort程序。
spark-sql 性能测试
china_demon的专栏
10-19 845
select * from tw_stock_d where t_date='20160810'  2.08 seconds select * from tw_stock_d where t_date='20160623' 2 seconds select * from tw_stock_d where t_date='20160810' union all sel
Kubernetes的Spark运行Terasort(四)
CodeAsWind
03-02 2322
目的： Terasort测试Kubernetes平台对于Spark计算过程 前提： 从HDFS读取能力 向HDFS写入能力 shuffle中网络读写能力 1:准备工作 获取代码 git clone https://github.com/ehiggs/spark-terasort.git 修改编译配置 指定合适的spark和scala版本 <propertie...
探索高效大数据排序：Spark-TeraSort Benchmark
最新发布
gitblog_00043的博客
06-22 317
探索高效大数据排序：Spark-TeraSort Benchmark spark-terasortSpark Terasort项目地址:https://gitcode.com/gh_mirrors/sp/spark-terasort 在这个大数据时代，快速而准确的排序是任何大规模数据分析任务中的关键环节。Spark-TeraSort 是一个专为 Apache Spark 设计的基准测试程序，它借...
sparksql性能测试
岸芷汀兰
09-24 2476
spark耗时对数据大小并不是线性增长，而是随数据大小缓慢增长。 数据相差一个数量级，运行时间也只差几秒，下面是多次运行下面的程序的耗时情况：分别测试100，1000，10000 但是数据超过一定大小，并行化及注册为表都没问题，而执行sql查询则出现问题：Exception in thread "main" org.apache.spark.SparkException: Job abort
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

訾零

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值