influxdb 统计每天指定时间段_NWPC消息平台：标准时间统计算法

最新推荐文章于 2024-07-06 02:37:05 发布

gymsummer

最新推荐文章于 2024-07-06 02:37:05 发布

阅读量2.2k

点赞数

文章标签： influxdb 统计每天指定时间段

本文链接：https://blog.csdn.net/weixin_42519725/article/details/113080688

版权

本文介绍了如何使用InfluxDB统计NWPC数值天气预报系统中GRAPES GFS、GRAPES MESO 10KM、GRAPES MESO 3KM和GRAPES TYM四种模式产品每天的标准生成时间段。通过自助法计算置信区间来反映产品生成的普遍情况，以应对模式计算步骤运行时长的浮动。并根据统计结果为NMC统一监控平台设置了产品延迟报警时间阈值。

摘要由CSDN通过智能技术生成

本文属于介绍 NWPC 消息平台系列文章。

简介

数值天气预报是基于数学物理方法客观定量计算未来天气演变的科学，是一个跨学科的复杂而严格的系统性工程 [1]。数值天气预报业务系统通常由多个步骤构成，一般分为资料前处理、模式计算和产品后处理等三个步骤 [2]。面向用户的最终产品由产品后处理步骤生成，产品生成的时效受前面步骤的影响。

NWPC 数值预报业务系统的前处理步骤需要从多种来源获取观测数据，包括 HPC 共享存储、CIMISS、FTP 等，并对这些资料进行处理，转为模式系统可以识别的输入数据。受 HPC 文件系统 I/O 速度、网络传输速率、数据接口响应时间等因素影响，每个时次的资料前处理步骤运行时长会有一定的浮动。模式同化和模式积分等计算任务需要使用大量计算节点，不同时次模式计算步骤的运行时长有一定的浮动。产品后处理涉及大量文件系统 I/O 操作，运行时间也会有一定的浮动。综上所述，数值预报业务系统各个时次的运行时间段常常不够稳定，模式产品的生成时间通常会在一定的区间范围内浮动。所以，需要一种有效的方法计算模式产品的标准生成时间段。

本文介绍 NWPC 消息平台目前使用的一种计算标准时间段的方法。

资料

使用 NWPC 消息平台产品事件消息类型中的原始分辨率 GRIB 2 产品完成上传二级存储的消息作为产品生成的时间数据。统计 GRAPES GFS、GRAPES MESO 10KM、GRAPES MESO 3KM 和 GRAPES TYM 四个模式所有时次的产品生成标准时间段。

GRAPES GFS 模式 10 月 3 日 06 时次 120 小时 GRIB 2 产品生成的事件消息数据如下所示。

{
    
"app": "nwpc-message-client",
"type": "production",
"time": "2020-10-03T10:47:20.395949667Z",
"data": {
    
"event": "storage",
"forecast_time": "120h",
"name": "orig",
"start_time": "2020-10-03T06:00:00Z",
"status": 1,
"stream": "oper",
"system": "grapes_gfs_gmf",
"type": "grib2"
  }
}

产品生成消息的详细介绍请参看文章《NWPC消息平台：产品事件消息》。

方法

因为产品生成时间的波动性，使用单一时间(例如平均值)不能很好地代表产品生成的普遍情况。本文将产品标准时间表示为一个时间段，使用置信区间的上下界作为时间段的两个端点。

对于某个特定时效的产品，一天只有一个数据，计算置信区间的数据量太少，容易受到离群值的影响。本文使用自助法计算置信区间，对数据进行多次重采样并求均值，得到均值数据，再计算均值的分位数，得到置信区间的上下界。

结果与分析

本文使用上述方法统计 GRAPES GFS，GRAPES MESO 10KM，GRAPES MESO 3KM 和 GRAPES TYM 四个模式所有时次的产品生成情况。使用 2020 年 9 月 1 日至 11 月 30 日共 61 天的数据，重采样 10000 次，每次选择 20 个样本，计算 95% 置信区间。