AMD & Intel 机器 Spark 性能测试

配置

INTEL 机型与 AMD 机型除了CPU其余配置相同。

处理器	spark配置	其余硬件	运行环境
Intel Xeon Gold 5118 * 2	executor (5C,20G) * 9 driver 7G	256G DRAM 8TB 7.2k HDD * 11 960G SSD * 1 2 * 10Gbps	Spark 2.3.1 CentOS 7.4 CDH 5.9 HiBench 7.1-SNAPSHOT
AMD EPYC 7401P
AMD EPYC 7551P	executor(5C,15G) * 12 driver 7G

Benchmark

耗时单位为 minute，清空缓存运行三次计算平均值，越低越好

CPU	wc	terasort	kmeans	gbt	rf	pr
AMD 7401P	5.5	8.4	4.6	10.9	6.7	7.8
AMD 7551P	5.1 (4.9 ~ 5.3)	7.4 (7.1 ~ 7.7)	4.1 (4.0 ~ 4.2)	10.5 (9.5 ~ 11.8)	6.2 (6.0 ~ 6.5)	6.3 (6.2 ~ 6.4)
INTEL 5118 * 2	4.7 (4.4 ~ 4.8)	7.3 (7.0 ~ 7.6)	4.6 (4.5 ~ 4.7)	9.9 (9.2 ~ 10.5)	6.1 (5.9 ~ 6.3)	6.1 (6.0 ~ 6.3)

• wc: Wordcount
• pr：Pagerank
• gbt: Gradient Boosting Tree
• rf: Random forest
• pr: PageRank

总结

AMD EPYC 7401P 大部分场景能达到 Intel Xeon Gold 5118 * 2 的 85% ~ 90% 的性能，价格为其 50% 左右。

AMD EPYC 7551P 性能在 Intel Xeon Gold 5118 * 2 92% ~ 99% 左右，部分场景(Kmeans) 为其 112%，价格则相差不大。

tip: 受本地IO的限制，测试结果可能会有一些误差。

价格及能耗对比

更多的对比信息

https://www.cpubenchmark.net/compare/AMD-EPYC-7401P-vs-Intel-Xeon-Gold-5118/3118vs3148