简述垃圾对象产生
如性能优化第一规则中所述,垃圾是快速代码的敌人。 通过使用垃圾收集器的服务,它不仅会破坏任何确定性的性能,而且我们开始用垃圾填充CPU高速缓存,这将导致程序的高速缓存未命中。
那么,我们可以在不创建垃圾的情况下使用Java吗? 例如,在自然Java中是否可以解决此问题:
创建10m个金融工具对象,将它们存储在地图中,检索它们并使用每个对象执行计算,而完全不会产生任何垃圾。
如果您使用Chronicle ! Chronicle提供了库,因此您可以轻松地以对象的内存映射文件形式使用堆外存储。 (有关本文的完整源代码,请参见此处 。)
让我们看一下实现上述问题的解决方案。
首先,让我们看一下如何在普通Java中执行此操作,以确保我们理解问题以及如果使用标准Java库进行实现会发生什么情况。
package zeroalloc;
import org.junit.Assert;
import org.junit.Test;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
/**
* Class to demonstrate zero garbage creation.
* Run with -verbose:gc -Xmx4G
*/
public class CreateOnHeapTest {
private static final int ITERATIONS = 10_000_000;
@Test
public void testOnHeapMap() {
System.out.println("----- HASHMAP ------------------------");
Map<Integer, BondVOImpl> map = new ConcurrentHashMap<>(ITERATIONS);
long actualQuantity = 0;
long expectedQuantity = 0;
long time = System.currentTimeMillis();
System.out.println("*** Entering critical section ***");
for (int i = 0; i < ITERATIONS; i++) {
BondVOImpl bondVo = new BondVOImpl();
bondVo.setQuantity(i);
map.put(Integer.valueOf(i), bondVo);
expectedQuantity += i;
}
long putTime = System.currentTimeMillis() - time;
time = System.currentTimeMillis();
System.out.println("************* STARTING GET *********************");
for (int i = 0; i < map.size(); i++) {
actualQuantity += map.get(i).getQuantity();
}
System.out.println("*** Exiting critical section ***");
System.out.println("Time for putting " + putTime);
System.out.println("Time for getting " + (System.currentTimeMillis() - time));
Assert.assertEquals(expectedQuantity, actualQuantity);
printMemUsage();
}
public static void printMemUsage() {
System.gc();
System.gc();
System.out.println("Memory(heap) used " + humanReadableByteCount(Runtime.getRuntime().totalMemory() - Runtime.getRuntime().freeMemory(), true));
}
public static String humanReadableByteCount(long bytes, boolean si) {
int unit = si ? 1000 : 1024;
if (bytes < unit) return bytes + " B";
int exp = (int) (Math.log(bytes) / Math.log(unit));
String pre = (si ? "kMGTPE" : "KMGTPE").charAt(exp - 1) + (si ? "" : "i");
return String.format("%.1f %sB", bytes / Math.pow(unit, exp), pre);
}
}
这是程序的输出:
*** Entering critical section ***
[GC (Allocation Failure) 98816K->92120K(125952K), 0.0317021 secs]
[Full GC (Ergonomics) 92120K->91917K(216576K), 0.2510530 secs]
[GC (Allocation Failure) 125197K->125430K(224256K), 0.0449051 secs]
[GC (Allocation Failure) 166390K->166686K(244224K), 0.0504341 secs]
[Full GC (Ergonomics) 166686K->165777K(387072K), 0.6243385 secs]
[GC (Allocation Failure) 226705K->226513K(388096K), 0.0785121 secs]
[GC (Allocation Failure) 293073K->293497K(392704K), 0.0825828 secs]
[Full GC (Ergonomics) 293497K->292649K(591872K), 1.2479519 secs]
[GC (Allocation Failure) 359209K->359433K(689664K), 0.0666344 secs]
[GC (Allocation Failure) 449033K->449417K(695296K), 0.1759746 secs]
[GC (Allocation Failure) 539017K->539385K(747008K), 0.1907760 secs]
[GC (Allocation Failure) 632569K->633009K(786944K), 0.2293778 secs]
[Full GC (Ergonomics) 633009K->631584K(1085952K), 2.1328028 secs]
[GC (Allocation Failure) 724768K->723368K(1146368K), 0.3092297 secs]
[GC (Allocation Failure) 827816K->825088K(1174016K), 0.3156138 secs]
[GC (Allocation Failure) 929536K->929952K(1207296K), 0.3891754 secs]
[GC (Allocation Failure) 1008800K->1009560K(1273856K), 0.4149915 secs]
[Full GC (Ergonomics) 1009560K->1007636K(1650688K), 3.4521240 secs]
[GC (Allocation Failure) 1086484K->1087425K(1671680K), 0.3884906 secs]
[GC (Allocation Failure) 1195969K->1196129K(1694208K), 0.2905121 secs]
[GC (Allocation Failure) 1304673K->1305257K(1739776K), 0.4291658 secs]
[GC (Allocation Failure) 1432745K->1433137K(1766912K), 0.4470582 secs]
[GC (Allocation Failure) 1560625K->1561697K(1832960K), 0.6003558 secs]
[Full GC (Ergonomics) 1561697K->1558537K(2343936K), 4.9359721 secs]
[GC (Allocation Failure) 1728009K->1730019K(2343936K), 0.7616385 secs]
[GC (Allocation Failure) 1899491K->1901139K(2413056K), 0.5187234 secs]
[Full GC (Ergonomics) 1901139K->1897477K(3119616K), 5.7177263 secs]
[GC (Allocation Failure) 2113029K->2114505K(3119616K), 0.6768888 secs]
[GC (Allocation Failure) 2330057K->2331441K(3171840K), 0.4812436 secs]
[Full GC (Ergonomics) 2331441K->2328578K(3530240K), 6.3054896 secs]
[GC (Allocation Failure) 2600962K->2488834K(3528704K), 0.1580837 secs]
*** Exiting critical section ***
Time for putting 32088
Time for getting 454
[GC (System.gc()) 2537859K->2488834K(3547136K), 0.1599314 secs]
[Full GC (System.gc()) 2488834K->2488485K(3547136K), 6.2759293 secs]
[GC (System.gc()) 2488485K->2488485K(3559936K), 0.0060901 secs]
[Full GC (System.gc()) 2488485K->2488485K(3559936K), 6.0975322 secs]
Memory(heap) used 2.6 GB
跳出此问题的两个要点是:一是垃圾回收的数量和开销(显然可以调整),二是使用了2.6GB的堆数量。 简而言之,无法摆脱它,该程序会产生大量垃圾。
我们这次使用ChronicleMap尝试完全相同的操作。
这是解决问题的代码:
package zeroalloc;
import net.openhft.chronicle.map.ChronicleMap;
import net.openhft.chronicle.map.ChronicleMapBuilder;
import net.openhft.lang.values.IntValue;
import org.junit.Assert;
import org.junit.Test;
import java.io.File;
import java.io.IOException;
/**
* Class to demonstrate zero garbage creation.
* Run with -verbose:gc
* To run in JFR use these options for best results
* -XX:+UnlockCommercialFeatures -XX:+FlightRecorder
*/
public class CreateChronicleTest {
private static final int ITERATIONS = 10_000_000;
@Test
public void demoChronicleMap() throws IOException, InterruptedException {
System.out.println("----- CHRONICLE MAP ------------------------");
File file = new File("/tmp/chronicle-map-" + System.nanoTime() + ".map");
file.deleteOnExit();
ChronicleMapBuilder<IntValue, BondVOInterface> builder =
ChronicleMapBuilder.of(IntValue.class, BondVOInterface.class)
.entries(ITERATIONS);
try (ChronicleMap<IntValue, BondVOInterface> map =
builder.createPersistedTo(file)) {
final BondVOInterface value = map.newValueInstance();
final IntValue key = map.newKeyInstance();
long actualQuantity = 0;
long expectedQuantity = 0;
long time = System.currentTimeMillis();
System.out.println("*** Entering critical section ***");
for (int i = 0; i < ITERATIONS; i++) {
value.setQuantity(i);
key.setValue(i);
map.put(key, value);
expectedQuantity += i;
}
long putTime = (System.currentTimeMillis()-time);
time = System.currentTimeMillis();
for (int i = 0; i < ITERATIONS; i++) {
key.setValue(i);
actualQuantity += map.getUsing(key, value).getQuantity();
}
System.out.println("*** Exiting critical section ***");
System.out.println("Time for putting " + putTime);
System.out.println("Time for getting " + (System.currentTimeMillis()-time));
Assert.assertEquals(expectedQuantity, actualQuantity);
printMemUsage();
} finally {
file.delete();
}
}
public static void printMemUsage(){
System.gc();
System.gc();
System.out.println("Memory(heap) used " + humanReadableByteCount(Runtime.getRuntime().totalMemory()
- Runtime.getRuntime().freeMemory(), true));
}
public static String humanReadableByteCount(long bytes, boolean si) {
int unit = si ? 1000 : 1024;
if (bytes < unit) return bytes + " B";
int exp = (int) (Math.log(bytes) / Math.log(unit));
String pre = (si ? "kMGTPE" : "KMGTPE").charAt(exp-1) + (si ? "" : "i");
return String.format("%.1f %sB", bytes / Math.pow(unit, exp), pre);
}
}
这是程序的输出:
[GC (Allocation Failure) 33280K->6595K(125952K), 0.0072065 secs]
[GC (Allocation Failure) 39875K->12177K(125952K), 0.0106678 secs]
[GC (Allocation Failure) 45457K->15289K(125952K), 0.0068434 secs]
[GC (Allocation Failure) 48569K->18357K(159232K), 0.0098287 secs]
[GC (Allocation Failure) 84917K->21008K(159232K), 0.0156393 secs]
*** Entering critical section ***
*** Exiting critical section ***
Time for putting 8554
Time for getting 4351
[GC (System.gc()) 36921K->21516K(230400K), 0.0331916 secs]
[Full GC (System.gc()) 21516K->15209K(230400K), 0.0630483 secs]
[GC (System.gc()) 15209K->15209K(230912K), 0.0006491 secs]
[Full GC (System.gc()) 15209K->15209K(230912K), 0.0234045 secs]
Memory(heap) used 18.2 MB
显然,这里的要点是,关键部分没有 GC,整个程序仅使用18MB的堆。 我们已经设法创建了一个程序,该程序通常会产生千兆字节的垃圾,而根本不会产生任何垃圾。
关于时间的注意事项
ChronicleMap显然不是ConcurrentHashMap的替代品,它们的用法有很大不同,并且超出该讨论范围的内容不在本文的讨论范围之内。 但是功能上的主要区别是ChronicleMap是持久的,并且可以在许多JVM之间共享。 (ChronicleMap也具有可以复制tcp的功能。)尽管如此,快速地比较时间安排还是很有趣的,除非要确保我们在同一个球场。 ChronicleMap的投放速度更快,从32秒提高到8.5秒。 但是ConcurrentHashMap中的大部分时间都花在GC上,并且可能会在某种程度上进行调整。 ConcurrentHashMap的获取速度比4.3s快了0.5s。 不过,在其他运行中,由于该部分中发生了GC,因此我看到ConcurrentHashMap占用了7s。 即使ChronicleMap所做的工作要多得多,但实际上由于缺少垃圾而使计时与ConcurrentHashMap相当。
重新启动程序
ChronicleMap真正发挥作用的地方是重新启动。 假设您的程序崩溃了,您需要重新计算与之前相同的计算。 在ConcurrentHashMap的情况下,我们必须完全按照之前的方法重新填充地图。 使用ChronicleMap,由于地图是持久的,因此只需将地图指向现有文件,然后重新运行计算以产生totalQuantity。
摘要
并发哈希图 | 编年史 | |
---|---|---|
gc暂停 | 许多 | 没有 |
更新时间 | 32秒 | 8秒 |
读取允许gc | 7秒 | 4秒 |
不读gc | 0.5秒 | 4秒 |
堆大小 | 2.6GB | 18MB |
坚持不懈 | 没有 | 是 |
快速重启 | 没有 | 是 |
翻译自: https://www.javacodegeeks.com/2015/03/creating-millions-of-objects-with-zero-garbage.html
简述垃圾对象产生