java-benchmark
java 基准测试
JMH (Java Microbenchmark Hardness) 微基准测试,专门用于代码微基准测试的工具套件;主要用于基于方法层面的微基准测试
精度可达到纳秒级别。
使用场景:当定位到热点方法时,希望进一步优化性能,就可以使用微基准测试;
预热处理:在微基准测试中我们希望看到的程序执行效率是 JVM 直接执行机器码的速度;因此,在执行真正的微基准测试之前需要对代码进行预热
(先执行几次,JVM 就会生成机器码),这也就是 JMH 提供的"预热处理"。
项目结构
|- openjdk-officia // OpenJDK 官方的测试 demo 供参考
|- jmh-demo // 自己在平时学习时加入的基准测试,包含 JMH 使用式样;(字符串拼接,列表,序列化等)
|- mapperstruct // 针对mapStruct 框架的对象映射做测试;
|- spring-framework // 收录 spring-framework 官方的基准测试,也加入自己在开发过程中遇到的相关的测试;
|- java-coroutines // java 协程相关的基准测试
使用说明
在 IDEA 中执行基准测试时,使用 Run 的方式,不能使用 Debug;
执行报错,最好执行一次 mvn clean 再进行尝试;
JMH 在编译的时候会对循环进行优化,如果发现某个变量没有被使用会被优化掉:
public class MyBenchmark {
@Benchmark
public void testMethod() {
int a = 1;
int b = 2;
int sum = a + b; // Dead Code
}
}
改为 return sum , 这样就不会被编译器优化掉,从而测出比较准确的结果;
基础概念
OPS 每秒操作量,衡量性能的重要指标;
QPS 每秒查询量,对每次执行的时间进行升序排列,取总数的 99% 的最大执行时间作为 T99,表示 99% 的请求响应不超过某个值;
常用注解
BenchmarkMode 使用模式;
Mode.Throughput : 吞吐量;
Mode.AverageTime: 响应时间;
Mode.SampleTime: 采样时间;
Mode.All: 表示统计以上所有指标;
Warmup: 预热, 默认预热1次;
Measurement: 配置执行次数(Iterator)和执行时间/每次(time)
Thread:同时多少个线程执行;
Fork: 多个单独进程,分别测试每个方法;(每个方法多少进程)
OutputTimeUnit:统计结果的时间单元;
State 对象的生命周期:@State(Scope.Benchmark)
在类上使用,State 中注明某些变量是 Thread 生效或者整个测试都生效 Benchmark
@State(Scope.Benchmark)
public class MyBenchmarkStateSimple {
AreaService areaService = new AreaService();
PreferAreaService perferAreaService = new PreferAreaService();
List data = buildData(20);
//忽略其他代码
}
运行结果
Result "com.lab.jmh.test.MyBatchmarkDemo.testBefore":
144330.689 ±(99.9%) 3986.539 ops/s [Average]
(min, avg, max) = (139887.020, 144330.689, 147419.834), stdev = 2636.848
CI (99.9%): [140344.150, 148317.228] (assumes normal distribution)
# Run complete. Total time: 00:05:01
REMEMBER: The numbers below are just data. To gain reusable insights, you need to follow up on
why the numbers are the way they are. Use profilers (see -prof, -lprof), design factorial
experiments, perform baseline and negative tests that provide experimental control, make sure
the benchmarking environment is safe on JVM/OS/HW level, ask forreviews from the domain experts.
Do not assume the numbers tell you what you want them to tell.
Benchmark Mode Cnt Score Error Units
MyBatchmarkDemo.testAfter thrpt 10 125335.652 ± 25823.147 ops/s
MyBatchmarkDemo.testBefore thrpt 10 144330.689 ± 3986.539 ops/s
stdev: 标准差,反应数值相对于平均值的离散程度;
CI(Corfindence interval):置信区间,这里相当于处理能力的一个估计区间;在统计学中,置信区间反应了当前样本的某个总体
参数的区间估计;
相关文章
参与贡献
Fork 本仓库
新建 Feat_xxx 分支
提交代码
新建 Pull Request