最近定位了关于数据库相关的性能问题,模块A生成的文件过快导致数据无法及时入库的问题
在整个过程中主要吸取了如下经验:
【1】for循环的次数不能太多,否则再小的运算时间也会成倍增长
【2】对数据库的操作 批量插入时,一定要使用COPY FROM语句,它比你想象的快很多,
一个50列指标,插入24W数据,用了18s
【3】如果可以,在【2】中尽量把可以合并到一次插入的数据合并到一个文件中。
【4】如果一个枚举特别大的话,请不要轻易使用VAlues方法然后再一个大的循环里面遍历。
【5】DBCP+ pool的连接池实现,如果CPU较慢时,那么会有大量的对象处于正在构建中。
整个连接池的代码集中在:org.apache.commons.pool.impl.GenericObjectPool.borrowObject() 这个方法。
active + interprocess = all
【6】定位性能问题,常见的工具:
(1)visualvm + jmx
(2)CPU 分析也可以用visualvm
(3)visualvm导出的线程堆栈可以用eclipse的 memory analyzer 打开。
(4)当visualvm无法导出堆时,可以试下jconsole,里面的MBEAN,com.sun.hotspot里面有个操作时dumpheap