分享一下通过批处理解决高并发造成的内存溢出

目录

一、背景介绍

二、代码分析

三、优化方案

---

一、背景介绍

        业务需要每15分钟的电表数据，这些数据需要入库，有一个单独的数据入库服务。现在由于电表数量比较多，入库的数据也相对变多，同一个服务器还部署另一个耗资源的服务等其它原因，导致入库服务内存溢出，故有此篇文章。 

二、代码分析

         我们先分析下这个代码，这个服务是入库服务，通过kafka获取入库的数据，然后存到Oracle中，它使用了 ConcurrentLinkedQueue 作为消息队列，通过线程池来处理队列中的消息。

   线程池的处理速度跟不上消息队列添加的速度，队列中的元素会不断增长，占用越来越多的内存。在这种情况下，会造成内存空间的持续增长，最终导致内存溢出。

三、优化方案

        我这里用到了周期性线程池，可定时执行的线程池newScheduledThreadPool。首先每隔两百毫秒就执行processBatch方法，该方法从队列中取出 batchSize 大小的消息，设置的是100条，然后将这些消息提交给线程池 executor 进行处理。处理时会遍历批处理中的消息，并将每条消息交给 ProtocolHandler 实例进行处理，即业务逻辑的实例，优化代码如下。

        

        好了，这次就分享到这里，如果对你有帮助，麻烦点个赞喽！