数据处理提高1000倍的方法

数据处理提高1000倍的方法

 

目录

 

1、问题来源

2、解决方法

3、优化原理

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1、问题来源

今天写长线接口处理数据时每分钟能10多条数据，因现场每秒钟都会有好几条数据过来，以这样的处理速度现场已经积压了快20万条数据未处理，延时已经超过12个小时。

 

2、解决方法

2.1、将原来的循环处理1000条数据改成每次批量处理1000条数据。

2.2、添加多线程来提高性能。

 

 

 

看：现在处理1000条数据只需求46秒就可以处理完成。

 

3、优化原理

3.1、

旧处理逻辑：1000条数据每次循环处理。

新处理逻辑：因每次循环需要查询二次数据库，所以将1000条数据处理完成需求查询2000次数据库。现将1000条数据全部分类处理完成，最后再统一查询2次数据库即可。这样可节省99.9%的建立与关闭数据库连接时间。

3.2、添加多线程使用分时调用可大大提高处理性能。

 

更多精彩技术分享请浏览本人博客：https://blog.csdn.net/wohiusdashi