实际开发案例之录音数据分析

案例前言

在实际开发中,数据量随着岁月的累积,后面的查询会变的越来越慢,特别是多条件的情况下,那么我们又该如何避免数据库积压呢?增加查询效率?
第一种方式:无外乎是优化咱们的SQL语句
第二种方式:建立索引
第三种方式:利用缓存机制进行缓冲
那么还有么别的解决方案?答案是:肯定还有.
在这里我提供一种我个人遇到的,和我们的同事兼主管的门*楠,一起有了的奇思妙想…当然,这种方案对于大神或者大部分J友来说可能不是很好,不是非常完美,但是这也不失为一种解决方案,而且为了增加自己的基础功力,方便广大J友,本人决定写这篇文章,当然了可能对于JAVA代码基础不是很扎实的朋友会有点麻烦,但是也不用慌,本文有例子可供参阅!

案例背景

案例背景:
一家等待上市的快递企业,公司高层近期对于各地分公司及旗下员工日常业务感到非常困扰,因为业务做的大了,每月的营收占比相对来讲比较固定,想要进一步提升业绩收入相对来讲已经比较困难了,因为各种活动,服务态度等方面的优化都实施过,那么就是缺少了一个突破点,因为想到企业的十几万员工都是使用公司特制手机XX9品牌,具备通话录音功能,而且这部分数据已经非常庞大了,平时只是进行员工投诉证据查询等作用,但是其他方面并没有用到,相对企业来讲,资源是浪费的,所以,立即召开公司研发部门成立项目组,进行录音分析.

需求概括

需求如下:
进行录音大数据分析,分析同一个员工,同一个号码的通话接通率,平均时长,最大呼出呼入,最小呼出呼入,早中晚深夜呼出呼入个数,通话时长,录音文件大小及各种…

数据量:抽一部分,一段时间内的数据进行初步分析,初步估算,该部分数据大概是几千万条.

解决方案

解决方案:
指定一个定时任务去执行分段查询,因为数据量比较大,我们将该定时任务定在服务器空闲时间去执行,根据时间区间的数据,直接执行一条SQL语句

SELECT * FROM `qy_sound_cloud` s where s.create_time BETWEEN '' AND ''

这部分数据肯定有很多不符合要求的废数据,我们直接在service层进行过滤处理即可 ,处理好的数据直接在对应的新表中建立对应的字段进行存储即可,以后查询,直接查询这张新表即可

使用JDK8特性进行处理过滤

我们的需求因为涉及到统计总个数,求平均值,按字段统计个数等需求,所以我们可以很好地使用JAVA8的Stream流的特性进行处理:

JDK8之Stream及其新特性使用,包含分组,求和,过滤,list转map,多个list合并