Spark性能测试Terasort

上次做了Hadoop集群的性能测试，因为主要的大数据开发工作在Spark上，这次做一下Spark的性能测试。

CDH6.0.1环境Hadoop集群性能测试

代码参考：spark-terasort

因为使用的CDH6.0.1，Spark版本2.2.0，代码需要做一些修改，这里已经在Spark2.3源码下修改好并编译打包，放到了Spark的examples里，可以替换Spark的examples。

链接：网盘下载

 

参数的设置

参考：Spark资源优化

 

目录

1. TeraGen生成随机数

2. TeraSort排序

3.TeraValidate验证 

---

 

1. TeraGen生成随机数

生成随机数，Teragen指定数量参数为 k，m，g，t，如100g。

将结果输出到HDFS /benchmarks/spark-test/terasort-input。

sudo -uhdfs spark-submit \
--class org.apache.spark.examples.TeraGen \
--master yarn \
--deploy-mode cluster \
--driver-memory 2g \
--num-executors 6 \
--executor-cores 5 \
--executor-memory 5g \
--conf spark.default.parallelism=240 \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
/opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.3.3.jar \
500g /benchmarks/spark-test/terasort-input

生成结果：500GB数据1小时，平均8530m/分，142m/秒。

 

优化后的提交

sudo -uhdfs spark-submit \
--class org.apache.spark.examples.TeraGen \
--master yarn \
--deploy-mode cluster \
--driver-memory 2g \
--driver-cores 5 \
--num-executors 20 \
--executor-cores 4 \
--executor-memory 2560m \
--conf spark.default.parallelism=160 \
--conf spark.shuffle.file.buffer=128k \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
/opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.3.3.jar \
100g /benchmarks/spark-test/terasort-input

100GB数据12分钟

 

2. TeraSort排序

sudo -uhdfs spark-submit \
--class org.apache.spark.examples.TeraSort \
--master yarn \
--deploy-mode cluster \
--driver-memory 2g \
--num-executors 20 \
--executor-cores 4 \
--executor-memory 2g \
--conf spark.default.parallelism=160 \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
/opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.3.3.jar \
/benchmarks/spark-test/terasort-input /benchmarks/spark-test/terasort-output 

排序结果：500G 1小时33分。

 

100G16分钟

sudo -uhdfs spark-submit \
--class org.apache.spark.examples.TeraSort \
--master yarn \
--deploy-mode cluster \
--driver-memory 2g \
--driver-cores 5 \
--num-executors 20 \
--executor-cores 4 \
--executor-memory 2560m \
--conf spark.default.parallelism=240 \
--conf spark.shuffle.file.buffer=128k \
--conf spark.executor.extraJavaOptions="-XX:+UseG1GC -XX:MaxGCPauseMillis=100 -XX:-ResizePLAB -XX:+ParallelRefProcEnabled  -XX:ParallelGCThreads=20 -XX:ConcGCThreads=10" \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
/opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.3.3.jar \
/benchmarks/spark-test/terasort-input /benchmarks/spark-test/terasort-output 

 

3.TeraValidate验证 

sudo -uhdfs spark-submit \
--class org.apache.spark.examples.TeraValidate \
--master yarn \
--deploy-mode cluster \
--driver-memory 2g \
--driver-cores 5 \
--num-executors 20 \
--executor-cores 4 \
--executor-memory 2560m \
--conf spark.default.parallelism=240 \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
/opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.3.3.jar \
/benchmarks/spark-test/terasort-output 

验证500G数据10分钟左右。 

client模式结果会输出在控制台，cluster模式结果输出在YARN的logs里。

num records: 4814814810
checksum: 8f7e4a4b7086a04c
partitions are properly sorted

100G 3分钟

num records: 1000000000
checksum: 1dcd3a102148ad22