关于大量数据计算的性能优化

最新推荐文章于 2024-04-25 10:55:55 发布

缠绵是场戏

最新推荐文章于 2024-04-25 10:55:55 发布

阅读量2k

点赞数

文章标签：性能优化

本文链接：https://blog.csdn.net/Java_chanmian/article/details/81364441

版权

大量数据的解析

需求的产生
我所在的项目是做一个电动汽车新能源的一个考核管理系统，就是对要考核的场站进行一系列指标考核，其中有几个模块要对一些基础数据进行考核计算，通过从一系列的基础数据表中查询数据然后对这些数据进行计算，具体计算需求如下
1数据来源
【F1】考核结果汇总表[CHECK_SUMMARY]
2计算方式
数据来源：
【F1】场站信息表[STATION_INFO] 这个表是基础表
【F1】场站短期功率预测上报结果[STATION_SHORT_REPORT]
【F1】场站短期功率预测结果[STATION_SHORT_FORECAST]
【F1】场站开机容量[STATION_START_POWER]记录各个场站每天的开机容量，每个场站、每天一条数据
【F1】场站有功功率表[STATION_ACTIVE_POWER]记录各个场站每分钟有功功率，每个场站每天24条记录
【F1】场站超短期功率预测结果[STATION_ULTRASHORT_REPORT]
记录各个场站自上报时刻起未来15分钟至4小时的风电功率预测结果。每个场站每天96条数据
页面展示考核结果按照指标类型统计：数据合格率考核费用、短期功率预测考核费用，超短期功率预测考核费用、总考核费用。被考核电场的数据合格率、（超）短期功率预测月未上报次数、月上报率、月准确率、月合格率。
6.短期功率预测准确率：
短期预测准确率=（）×100%
其中：PMi为i时刻的实际功率（MW），PPi为i时刻的短期功率预测值（MW），Cap为风电场平均开机容量（MW），Cap=AVG(每天开机容量)，n为样本个数，n=96*当月天数。
8.短期功率预测合格率：
短期功率预测合格率= ×100%，
其中：PMi为i时刻的实际功率（MW），PPi为i时刻的短期功率预测值（MW），Cap为风电场平均开机容量（MW），Cap=AVG(每天开机容量)， n为样本个数，n=96 * 当月天数。
14.超短期功率预测准确率：
超短期功率预测准确率=（）×100%
其中：PMi为i时刻的实际功率（MW），PPi,t为4小时前的超短期功率预测的i时刻功率（MW），Cap为平均开机容量（MW），Cap=AVG(每天开机容量)，n为样本个数，n=96*当月天数。
实现以及优化
用最原始的实现方式循环查询计算，然后这个方法需要10分钟左右，这样的系统肯定是没法满足用户，后面就开始对这个计算接口进行优化，我们主要从2个方面进行优化，一个是数据库方面，一个是多线程方面