Dynamometer：HDFS性能扩展测试工具

前言

---

现在稍微具有一定规模的涉及到大数据存储的公司，或多或少都会使用到HDFS作为其数据的存储系统。在不同的公司企业内，不同的应用需求对应会构建出不同级别规模的集群，小则几十台，大则成千上万个节点。当然很多时候，我们的集群规模一般不是一蹴而就就达到一个相当大的规模，在前期的时候往往都是由小集群开始的。随后，再不断不断地进行扩容，扩张。随着集群规模的扩展，运维人员会碰到各种针对那时规模的各种问题（可能需要参数调整等等类似这种）。其实这个时候，我们自然会想到是否我们会有一个性能测试工具来测试扩展好的集群性能呢，以此帮助我们在真正实施集群规模扩展时发现这类的隐蔽问题。本文笔者来阐述Linkedin目前开源的一个HDFS性能扩展测试工具：Dynamometer.。它旨在以最小的硬件资源来模拟真实的集群效果，以此做相应的性能测试。

HDFS扩展性测试的适用场景

---

看到这里，可能有些人会有疑问了，我在测试集群搭上一个小集群来模拟测试效果，不也是一样的吗，为什么要完全模拟生产集群的效果呢？

其实小规模环境往往只能验证出功能测试效果，而对于潜在的performance的测试往往是不够的，所以我们着重想要模拟出尽可能模拟真实的测试效果。接近真实的测试环境至少能够帮助我们在以下几种情境下模拟出效果：

• 压力测试下的集群性能情况
• 对代码逻辑变更后的回归性能测试
• 系统版本升级后的性能测试
• 参数配置优化后的性能测试对比

以上四类测试场景将会是十分适用于我们的模拟测试场景的。

Dynamo