气象上常见评分函数及其python实现

最新推荐文章于 2024-06-03 09:33:53 发布

fangzuliang

最新推荐文章于 2024-06-03 09:33:53 发布

阅读量2.4w

点赞数 52

分类专栏：大气科学 python

本文链接：https://blog.csdn.net/weixin_43718675/article/details/105788170

版权

python 同时被 2 个专栏收录

15 篇文章 5 订阅

订阅专栏

大气科学

13 篇文章 66 订阅

订阅专栏

气象上常见评分函数及其python实现

1 简介

气象部门在发布预报时，发布的是一定区域范围的网格化(或站点化)的气象要素结果，以降水预报为例，

先将预报区域划分为60 * 60(视空间分辨率而定，空间分辨率越高，格点数值越大) 的网格，每个网格上都存在对应的降水预报值。
事后需要对预测结果进行检验，如图1，左图为14时的预报结果y_pre，右图为真实观测结果y_obs，异同明显。那如何衡量预报好坏呢？即如何衡量预报场(y_pre) 与 观测场(真值y_obs) 的异同程度呢?
主要采取二分类思想进行评价。但针对不同需求，气象上有许多预报准确度评价指标。

图1 14时的降水预测与观测值对比

2 评价指标及其python实现

2.1 二分类介绍

假设有两个类别，正和负，分别用1，0表示，如下表格。

	预测负例	预测正例
真实负例	TN(True negative)	FP(False positive)
真实正例	FN(False negative)	TP(True positive)

该表格称为混淆矩阵(confusion matrix)。

TN : 真阴性。实际为0，预测为0.
TP : 真阳性。实际为1，预测为1.
FP: 假阳性。实际为0，预测为1.
FN: 假阴性。实际为1，预测为0.
召回率(Recall)：R=TP/(TP+FN) ，指的是被预测为正例的占总的正例的比重；
精准度(precision)：P = TP/(TP+FP) ，指被分类器判定正例中的正样本的比重；
准确率(Accuracy)：A = (TP+TN)/(TP+FN+FP+TN) ，反映了分类器对整个样本的判定能力，也就是说能将正

的判定为正，负的判定为负。
F1为：

在实际应用中，我们不仅希望Accuracy高，还希望模型对每个类别都有很强的分类能力，即recall 和 precision都要高。

2.2 降水评价

2.2.1 气象二分类指标

气象上的降水评价指标基本都建立在二分类基础上。

以上面的y_pre 和 y_obs 为例，共计有3600个格点，选定一个阈值rain_threshold ，格点数值 >= rain_threshold 即为正例，否则为负例。这里采取晴雨分类，即rain_threshold = 0.1

在这里插入图片描述

构建混淆矩阵，晴为负例，雨为正例，如下：

	预测晴	预测雨
真实晴	TN: 1968	FP: 52	2020
真实雨	FN: 458	TP: 1122	1580
	2426	1174

Recall: R=TP/(TP+FN) = 1122/(1122 + 458) = 0.71
precision: p = TP/(TP + FP) = 1122/(1122 + 52) = 0.95
Accuracy: (TP + TN)/(TN + FP + FN + TP) = 0.86

类比到气象上，概念一致，只是换了名称。

	预测晴	预测雨
真实晴	correctnegatives	falsealarms(误警)	2020
真实雨	misses(漏报)	hits(击中)	1580
	2426	1174

代码如下：

def prep_clf(obs,pre, threshold=0.1):
    '''
    func: 计算二分类结果-混淆矩阵的四个元素
    inputs:
        obs: 观测值，即真实值；
        pre: 预测值；
        threshold: 阈值，判别正负样本的阈值,默认0.1,气象上默认格点 >= 0.1才判定存在降水。
    
    returns:
        hits, misses, falsealarms, correctnegatives
        #aliases: TP, FN, FP, TN 
    '''
    #根据阈值分类为 0, 1
    obs = np.where(obs >= threshold, 1, 0)
    pre = np.where(pre >= threshold, 1, 0)

    # True positive (TP)
    hits = np.sum((obs == 1) & (pre == 1))

    # False negative (FN)
    misses = np.sum((obs == 1) & (pre == 0))

    # False positive (FP)
    falsealarms = np.sum((obs == 0) & (pre == 1))

    # True negative (TN)
    correctnegatives = np.sum((obs == 0) & (pre == 0))

    return hits, misses, falsealarms, correctnegatives


def precision(obs, pre, threshold=0.1):
    '''
    func: 计算精确度precision: TP / (TP + FP)
    inputs:
        obs: 观测值，即真实值；
        pre: 预测值；
        threshold: 阈值，判别正负样本的阈值,默认0.1,气象上默认格点 >= 0.1才判定存在降水。
    
    returns:
        dtype: float
    '''

    TP, FN, FP, TN = prep_clf(obs=obs, pre = pre, threshold=threshold)

    return TP / (TP + FP)


def recall(obs, pre, threshold=0.1):
    '''
    func: 计算召回率recall: TP / (TP + FN)
    inputs:
        obs: 观测值，即真实值；
        pre: 预测值；
        threshold: 阈值，判别正负样本的阈值,默认0.1,气象上默认格点 >= 0.1才判定存在降水。
    
    returns:
        dtype: float
    '''

    TP, FN, FP, TN = prep_clf(obs=obs, pre = pre, threshold=threshold)

    return TP / (TP + FN)


def ACC(obs, pre, threshold=0.1):
    '''
    func: 计算准确度Accuracy: (TP + TN) / (TP + TN + FP + FN)
    inputs:
        obs: 观测值，即真实值；
        pre: 预测值；
        threshold: 阈值，判别正负样本的阈值,默认0.1,气象上默认格点 >= 0.1才判定存在降水。
    
    returns:
        dtype: float
    '''

    TP, FN, FP, TN = prep_clf(obs=obs, pre = pre, threshold=threshold)

    return (TP + TN) / (TP + TN + FP + FN)

def FSC(obs, pre, threshold=0.1):
    '''
    func:计算f1 score = 2 * ((precision * recall) / (precision + recall))
    '''
    precision_socre = precision(obs, pre, threshold=threshold)
    recall_score = recall(obs, pre, threshold=threshold)

    return 2 * ((precision_socre * recall_score) / (precision_socre + recall_score))

由以上四个基本指标，引申出许多气象降水评价指标。

有一点需要注意：气象上的降水评价指标基本都建立在二分类基础上，即任何指标都必须指明rain_threshold。

2.2.2 TS评分 & CSI