【内存溢出问题】实际开发中，一次从数据库取出过多数据，导致内存溢出问题

一.实际开发中内存溢出问题

• 1.原因分析：

        业务操作人员在进行历史交易查询时，查询条件中的业务编号必输项输入了空格，系统在判断输入项时先判断了非空，然后做了trim(),trim后才拼条件查询（正确的控制应该先进行trim()，然后在进行非空判断来控制必输项），导致查询数量较大，每次达十万多条，反复多次后导致系统内存溢出，server7服务终止，正在处理的交易超时。
        （不规范应用查询问题，查询范围不做控制，内存中加载的数据量过于庞大）

• 2.解决措施：

       内存溢出后，server7服务自动重启，重启后业务恢复正常

• 3.后续措施：

       (1)完善程序代码，对必输项进行正确控制。
       (2)走查代码，排查所有查询交易，对查询条件进行优化控制；写入开发规范，将可能出现大结果集的交易必须进行分页处理。如应用程序中包含大对象内存的调用，需要采用分页技术，或者限制查询条件，禁止一次性加载全部对象，导致内存溢出。

二.总结：内存溢出的原因及解决方法

• 内存溢出是什么？

     out of memory，是指程序在申请内存时，没有足够的内存空间供其使用，出现内存溢出；比如申请了一个long类型的数据，但是给你一个integer类型数据的存储空间，那么就不够用，此时就会报错OOM，就是内存溢出。（long占用 8个字节， int占用4个字节）

• 内存溢出原因： 

        1.内存中加载的数据量过于庞大，如一次从数据库取出过多数据； 
        2.集合类中有对对象的引用，使用完后未清空，使得JVM不能回收； 
        3.代码中存在死循环或循环产生过多重复的对象实体； 
        4.使用的第三方软件中的BUG； 
        5.启动参数内存值设定的过小

• 内存溢出的解决方案： 

        第一步，修改JVM启动参数，直接增加内存。(-Xms，-Xmx参数一定不要忘记加。)
        第二步，检查错误日志，查看“OutOfMemory”错误前是否有其 它异常或错误。
        第三步，对代码进行走查和分析，找出可能发生内存溢出的位置。
重点排查以下几点： 
1.检查对数据库查询中，是否有一次获得全部数据的查询。一般来说，如果一次取十万条记录到内存，就可能引起内存溢出。这个问题比较隐蔽，在上线前，数据库中数据较少，不容易出问题，上线后，数据库中数据多了，一次查询就有可能引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。
2.检查代码中是否有死循环或递归调用。
3.检查是否有大循环重复产生新对象实体。
4.检查对数据库查询中，是否有一次获得全部数据的查询。一般来说，如果一次取十万条记录到内存，就可能引起内存溢出。这个问题比较隐蔽，在上线前，数据库中数据较少，不容易出问题，上线后，数据库中数据多了，一次查询就有可能引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。
5.检查List、MAP等集合对象是否有使用完后，未清除的问题。List、MAP等集合对象会始终存有对对象的引用，使得这些对象不能被GC回收。

         第四步，使用内存查看工具动态查看内存使用情况

三.内存溢出和内存泄漏的区别

    内存溢出 out of memory，out of memory，是指程序在申请内存时，没有足够的内存空间供其使用，出现内存溢出；比如申请了一个long
    类型的数据，但是给你一个integer类型数据的存储空间，那么就不够用，此时就会报错OOM，就是内存溢出。（long占用 8个字节， int占用4个字节）
    内存泄露 memory leak，是指程序在申请内存后，无法释放已申请的内存空间，一次内存泄露危害可以忽略，但内存泄露堆积后果很严重，无论多少内存,迟早会被占光。

    memory leak会最终会导致out of memory！

    内存溢出就是你要求分配的内存超出了系统能给你的，系统不能满足需求，于是产生溢出。 
    内存泄漏是指你向系统申请分配内存进行使用(new)，可是使用完了以后却不归还(delete)，结果你申请到的那块内存你自己也不能再访问（也许你把它的地址给弄丢了），而系统也不能再次将它分配给需要的程序。
    一个盘子用尽各种方法只能装4个果子，你装了5个，结果掉倒地上不能吃了。这就是溢出！
    比方说栈，栈满时再做进栈必定产生空间溢出，叫上溢，栈空时再做退栈也产生空间溢出，称为下溢。就是分配的内存不足以放下数据项序列,称为内存溢出. 

•    以发生的方式来分类，内存泄漏可以分为4类： 

      1. 常发性内存泄漏。发生内存泄漏的代码会被多次执行到，每次被执行的时候都会导致一块内存泄漏。 
      2. 偶发性内存泄漏。发生内存泄漏的代码只有在某些特定环境或操作过程下才会发生。常发性和偶发性是相对的。对于特定的环境，偶发性的也许就变成了常发性的。所以测试环境和测试方法对检测内存泄漏至关重要。 
      3. 一次性内存泄漏。发生内存泄漏的代码只会被执行一次，或者由于算法上的缺陷，导致总会有一块仅且一块内存发生泄漏。比如，在类的构造函数中分配内存，在析构函数中却没有释放该内存，所以内存泄漏只会发生一次。 
      4. 隐式内存泄漏。程序在运行过程中不停的分配内存，但是直到结束的时候才释放内存。严格的说这里并没有发生内存泄漏，因为最终程序释放了所有申请的内存。但是对于一个服务器程序，需要运行几天，几周甚至几个月，不及时释放内存也可能导致最终耗尽系统的所有内存。所以，我们称这类内存泄漏为隐式内存泄漏。 

从用户使用程序的角度来看，内存泄漏本身不会产生什么危害，作为一般的用户，根本感觉不到内存泄漏的存在。真正有危害的是内存泄漏的堆积，这会最终消耗尽系统所有的内存。从这个角度来说，一次性内存泄漏并没有什么危害，因为它不会堆积，而隐式内存泄漏危害性则非常大，因为较之于常发性和偶发性内存泄漏它更难被检测到。
    
    参考：https://blog.csdn.net/buutterfly/article/details/6617375