加权准确率WA，未加权平均召回率UAR和未加权UF1

已于 2023-12-19 08:51:11 修改
阅读量913 收藏 13
点赞数 12
文章标签： 人工智能 机器学习 算法
于 2023-12-16 21:29:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GYY8023/article/details/135034714
版权

加权准确率WA，未加权平均召回率UAR和未加权UF1

1.加权准确率WA，未加权平均召回率UAR和未加权UF1

from sklearn.metrics import classification_report
from sklearn.metrics import precision_recall_curve, average_precision_score,roc_curve, auc, precision_score, recall_score, f1_score, confusion_matrix, accuracy_score

import torch
from torchmetrics import MetricTracker, F1Score, Accuracy, Recall, Precision, Specificity, ConfusionMatrix
import warnings
warnings.filterwarnings("ignore")  # 忽略告警


pred_list  =  [2, 0, 4, 1, 4, 2, 4, 2, 2, 0, 4, 1, 4, 2, 2, 0, 4, 1, 4, 2, 4, 2]
target_list = [1, 1, 4, 1, 3, 1, 2, 1, 1, 1, 4, 1, 3, 1, 1, 1, 4, 1, 3, 1, 2, 1]


print(classification_report(target_list, pred_list))

# Accuracy # WA（weighted accuracy）加权准确率,其实就是我们sklearn日常跑代码出来的acc
# 在多分类问题中，加权准确率（Weighted Accuracy）是一种考虑每个类别样本数量的准确率计算方式。
# 对于样本不均衡的情况，该方式比较适用。其计算方式是将每个类别的准确率乘以该类别在总样本中的比例（权重），然后求和。
test_acc_en = Accuracy(task="multiclass",num_classes=5, threshold=1. / 5, average="weighted")

# Recall macro表示加权的
# UAR（unweighted average recall）未加权平均召回率
# 是一种性能评估指标，主要用于多分类问题。它表示各类别的平均召回率（Recall），在计算时，不对各类别进行加权。对于每个类别，召回率是该类别中真正被正确预测的样本数与该类别中所有样本数的比值。
# UAR在评估一个分类器时，对每个类别都给予相同的重要性，而不考虑各类别的样本数量。这使得UAR在处理不平衡数据集时具有一定的优势，因为它不会受到数量较多的类别的影响。
test_rcl_en = Recall(task="multiclass",num_classes=5, threshold=1. / 5, average="macro") # UAR

# F1 score
# F1分数是精确率（Precision）和召回率（Recall）的调和平均值。
# 在多分类问题中，通常会计算每个类别的F1分数，然后取平均值作为总体的F1分数。
# 平均方法可以是简单的算术平均（Macro-F1）（常用），也可以是根据每个类别的样本数量进行加权的平均（Weighted-F1）
test_f1_en = F1Score(task="multiclass", num_classes=5, threshold=1. / 5, average="macro") # UF1

preds  = torch.tensor(pred_list)
target = torch.tensor(target_list)
print("sklearn vs torchmetrics: ")
print("Accuracy-W_ACC")
print(accuracy_score(y_true=target_list, y_pred=pred_list))
print(test_acc_en(preds, target))

print("recall-UAR")
print(recall_score(y_true=target_list,y_pred=pred_list,average='macro')) # 也可以指定micro模式
print(test_rcl_en(preds, target))

print("F1-score-UF1")
print(f1_score(y_true=target_list, y_pred=pred_list, average='macro'))
print(test_f1_en(preds, target))

在这里插入图片描述

2.Pytorch模型中的评价指标实现

from torchmetrics import MetricCollection, Accuracy, F1Score, Recall

def eva_sd():
    metric_collection = MetricCollection(
        {
            'WAC': Accuracy(task="multiclass", num_classes=10, threshold=1. / 5, average="weighted"),  # WA
            'UAR': Recall(task="multiclass", num_classes=10, threshold=1. / 5, average="macro"),  # UAR
            'UF1': F1Score(task="multiclass", num_classes=10, threshold=1. / 5, average="macro")  # UF1
        }
    )
    return metric_collection


'''
1.加载必要的库
'''
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torchvision import transforms, datasets
import torchmetrics
from torchmetrics import MetricCollection, Accuracy, F1Score, Recall
from evaluationsd import eva_sd
metric_collection = eva_sd()

# metric_collection = MetricCollection(
#     {
#         'WAC':Accuracy(task="multiclass", num_classes=10, average="weighted"), # WA
#         'UAR':Recall(task="multiclass", num_classes=10, average="macro"), # UAR
#         'UF1':F1Score(task="multiclass", num_classes=10,  average="macro")  # UF1
#     }
# )

valid_accuracy = torchmetrics.Accuracy(task="multiclass", num_classes=10, average="weighted")


'''
2.定义超参数
'''
BATCH_SIZE = 64  # 每批处理的数据
DEVICE = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")  # 判断使用gpu还是cpu
EPOCHS = 50  # 训练数据集的轮数
print(DEVICE)

'''
3.下载、加载数据集
'''
from torch.utils.data import DataLoader

pipeline = transforms.Compose(
    [transforms.ToTensor(),
     transforms.Normalize((0.1307,), (0.3081,))
     ]
)


# 下载数据集
train_set = datasets.MNIST("data", train=True, download=True, transform=pipeline)

test_set = datasets.MNIST("data", train=False, download=True, transform=pipeline)

# 加载数据
train_loader = DataLoader(train_set, batch_size=BATCH_SIZE, shuffle=True)

test_loader = DataLoader(test_set, batch_size=BATCH_SIZE, shuffle=True)

'''
4.构建网络模型
'''
class Digit(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 10, 5)  # 1:灰度图片的通道，10：输出通道，5：kernel
        self.conv2 = nn.Conv2d(10, 20, 3)  # 10:灰度图片的通道，20：输出通道，3：kernel
        self.fc1 = nn.Linear(20 * 10 * 10, 500)  # 20*10*10:输入通道，500:输出通道
        self.fc2 = nn.Linear(500, 10)  # 500：输入通道 10：输出通道

    def forward(self, x):
        input_size = x.size(0)  # batch_size x 1 x 28 x 28
        x = self.conv1(x)  # 输入：batch*1*28*28 ,输出:batch*10*24*24（28-5+1）
        x = F.relu(x)  # 保持shape不变，输出：batch*10*24*24
        x = F.max_pool2d(x, 2, 2)  # 输入：batch*10*24*24 输出：batch*10*12*12

        x = self.conv2(x)  # 输入：batch*10*12*12 输出：batch*20*10*10（12-3+1）
        x = F.relu(x)

        x = x.view(input_size, -1)  # 拉平，-1自动计算维度，20*10*10 = 2000

        x = self.fc1(x)  # 输入：batch*2000 输出：batch*500
        x = F.relu(x)  # 保持shape不变

        x = self.fc2(x)  # 输入batch*500 输出：batch*10

        output = F.log_softmax(x, dim=1)  # 计算分类后每个数字的概率值

        return output

'''
5.定义优化器
'''
model = Digit().to(DEVICE)

optimizer = optim.Adam(model.parameters())

'''
6.定义训练方法
'''
def train_model(model, device, train_loader, optimizer, epoch):
    # 模型训练
    model.train()
    for batch_index, (data, target) in enumerate(train_loader):
        # 部署到device上去
        data, target = data.to(device), target.to(device)
        # 梯度初始化为0
        optimizer.zero_grad()
        # 训练后的结果
        output = model(data)
        # 计算损失
        loss = F.cross_entropy(output, target)  # 适合多分类,二分类用Sigmund函数
        # 反向传播
        loss.backward()
        # 参数优化
        optimizer.step()
        if batch_index % 3000 == 0:
            print("Train Epoch : {}\t Loss : {:.6f}".format(epoch, loss.item()))

'''
7.定义测试方法
'''
def valid_model(model, device, test_loader):
    # 模型验证
    model.eval()
    # 正确率
    correct = 0.0
    # 测试损失
    test_loss = 0.0
    with torch.no_grad():  # 不会计算梯度，也不会进行反向传播
        for data, target in test_loader:
            # 部署到device上
            data, target = data.to(device), target.to(device)
            # 测试数据
            output = model(data)
            # 计算测试损失
            test_loss += F.cross_entropy(output, target).item()
            # 找到概率值最大的下标
            pred = output.max(1, keepdim=True)[1]  # 值，索引

            # 累计正确的值
            correct += pred.eq(target.view_as(pred)).sum().item()

            # print(pred.shape,type(pred),pred.dtype)
            # print(target.shape,type(target),target.dtype)

            # 采用自己的定义求解准确率
            valid_accuracy(torch.squeeze(pred).detach().cpu(),target.detach().cpu())
            metric_collection(torch.squeeze(pred).detach().cpu(),target.detach().cpu())
            # print(f"Metrics on batch : {batch_metrics}")

        total_train_accuracy = valid_accuracy.compute()
        val_metrics = metric_collection.compute()

        test_loss /= len(test_loader.dataset)
        # 所有batch的我的acc

        print("Test--Average loss : {:.4f},Accuracy : {:.4f}\n".format(
            test_loss,  correct / len(test_loader.dataset)
        ))
        print("My_Accuracy : {:.4f}\n".format(
            total_train_accuracy))
        # print(f"Metrics on all data: {val_metrics}")
        print("Metrics on all data: {:.4f}".format(val_metrics['WAC']))
    valid_accuracy.reset()

    metric_collection.reset()

if __name__ == "__main__":
    for epoch in range(1, EPOCHS + 1):
        train_model(model, DEVICE, train_loader, optimizer, epoch)
        valid_model(model, DEVICE, test_loader)

在这里插入图片描述

3.参考链接

  1. 一文看懂机器学习指标：准确率、精准率、召回率、F1、ROC曲线、AUC曲线
  2. 多分类中TP/TN/FP/FN的计算
  3. 多分类中混淆矩阵的TP,TN,FN,FP计算
  4. TP、TN、FP、FN超级详细解析
  5. 一分钟看懂深度学习中的准确率（Accuracy）、精度（Precision）、召回率（Recall）和 mAP
  6. 深度学习评价指标简要综述
  7. 深度学习 数据多分类准确度 多分类的准确率计算
  8. Sklearn和TorchMetrics计算F1、准确率(Accuracy)、召回率(Recall)、精确率(Precision)、敏感性(Sensitivity)、特异性(Specificity)
  9. 【PyTorch】TorchMetrics：PyTorch的指标度量库
    10.使用Torchmetrics快速进行验证指标的计算（附代码）
^_^linger^_^
关注
  • 12
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
WA、UAR、F1和sklearn自带的函数
qq_44837312的博客
05-12 2149
多分类问题中常用的评价指标。
F1-score recall 等uar uf1等计算
weixin_43762134的博客
02-26 345
F1-score recall 等uar uf1等计算
常用多分类评价指标及计算
qq_44837312的博客
05-12 4018
多分类问题中常用的评价指标。
机器&深度学习中的模型评估：评估方法和评估指标
buchidanhuang的博客
05-13 3689
  机器学习领域，无论是在工业界还是在学术界都存在着对模型的选择。如何选择一个好的模型，这需要一套标准来评估模型，从而让我们能选择。这里主要介绍模型的评估方法和评估指标，这将非常有用。 (一)评估方法[1] （1）留出法（hold-out）   将数据集分成3个互斥的集合：训练集、验证集、测试集。 （2）交叉验证法（cross validation）   先将数据集划分成k个大小相似的互斥子集。然...
分类指标：准确率、精确率、召回率、F1 score以及ROC、AUC、宏平均、加权平均
TFATS的博客
06-29 9369
本文将介绍： 混淆矩阵（Confusion Matrix） 准确率（accuracy） 召回率（recall） 精确率（precision） F1score ROC和AUC 宏平均(macro avg) 微平均(micro avg) 加权平均(weighted avg) 一，混淆矩阵（Confusion Matrix） 在n分类模型中，使用n行n列的矩阵形式来表示精度，纵列代表n个分类，在每行中的n个数据代表分别预测在每个类别的个数，完美的预测应该是一个列序数=行中有数据的索引数的一条斜线。 TP：
sklearn计算准确率、精确率、召回率、F1 score
热门推荐
MrLittleDog的博客
03-06 17万+
目录混淆矩阵准确率精确率召回率 分类是机器学习中比较常见的任务，对于分类任务常见的评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 score、ROC曲线（Receiver Operating Characteristic Curve）等。 这篇文章将结合sklearn对准确率、精确率、召回率、F1 score进行讲解，ROC曲线可以参考我的这篇文章...
未加权平均召回率(UAR)
07-14
未加权平均召回率（Unweighted Average Recall，UAR）是一种评估分类模型性能的指标。它计算每个类别的召回率，并对所有类别的召回率进行求平均，而不考虑每个类别的样本数量。 召回率是指被正确预测为正例的样本数...
UAR HE TA【未完成】
03-14
标题“UAR HE TA【未完成】”似乎指的是一个正在进行中的项目或研究，可能与软件开发、编程或者系统分析有关。然而，由于标题是不完整的，我们无法获取具体的技术细节。描述部分是空的，因此没有提供任何额外的信息...
UAR_display_cp.rar_SSD4 exercise6_UAR_display_cp
09-19
【标题】"UAR_display_cp.rar_SSD4 exercise6_UAR_display_cp" 涉及的知识点主要集中在SSD4（Solid State Drive 4）课程的第六次练习中，特别是关于UAR（User Access Reporting）显示控制面板的使用。这个压缩包包含...
UAR_display_cp.zip_ UAR_display_cp.rar_UAR_display_cp
09-24
SSD4 exersize 6 Part B (UAR_display_cp)
寥寥几段文字就说清楚了什么是精确度和召回率
方老师的博客
12-02 3678
学习和研究机器学习、深度学习的人经常会需要对AI模型的效果进行判定，其中最常用到的判定依据是精确度(Precision，又称为准确度、精准度)和召回率(Callback)。到底什么是精确度和召回率？它们的本质区别是什么？本文讨论这些问题。 精确度和召回率都是用来判断AI模型预测效果的指标，取值范围都是[0, 1]，越接近0表示模型的效果越差，0表示模型全部预测错误；越接近1表示模型的效果越好，1表示全部预测正确。 两者的本质区别在于，精确度是针对模型的输出进行计算的，而召回率是针对模型的输入计算的。
介绍平衡准确率（Balanced Accuracy）和加权 F1 值（Weighted F1）
最新发布
叶庭云 成为自己的光
03-02 3126
介绍平衡准确率（Balance Accuracy）和加权 F1 值（Weighted F1）
【无标题】
qq_27468949的博客
04-07 234
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
sklearn.metrics.accuracy_score/precision_score/recall_score、micro/macro/weighted(准确率、召回率)
wrwhahah的博客
12-01 6636
1、accuracy即我们通常理解的准确率，计算的时候是指在预测值pred与目标值target之间重叠的部分的大小除以pred的大小(或target的大小,因为sklearn要求pred与target大小必须一致)。 比如target=[2,2,2,3,2] pred=[2,2,1,3,4] 此时重叠的部分为pred[0]、pred[1]、pred[3]，accuracy=3/5=0.6 而precision_score意思类似，但不完全一样，它是从pred的角度考虑，意思是我虽然预测了
1的准确率_预测准确率怎么做？3步教你搞定
weixin_36487445的博客
01-12 6115
大家好，我是小E。小E为大家准备了50+Excel快捷键，领取直接关注公棕号【秋叶Excel】，回复【头条】！预测准确率，是一项重要的销售管理指标。具体的操作思路、操作步骤是怎样的呢？今天就一起来学习！问题描述什么是「预测准确率」？小 E 的半年报告中有一项监测指标，发运预测准确率。小 E 的行业产品属于耐用消费品，销售和发运之间存在着一定的延迟。所以与大多数快速消费品行业不同，有销售预测和发运预...
召回率（recall)
没人关注
06-10 508
召回率：覆盖面的度量，度量有多少个实际正例被分为正例 公式：TP/(TP+FN)
【时序】时间序列领域的 GAN 模型综述论文笔记
stay hungry, stay foolish
04-13 1万+
论文年份：2021，论文被引：8（2022/04/13）
准确率与召回率（Precision & Recall）、F-score
maria5201314的博客
12-06 1万+
1、两个最常见的衡量指标是“准确率（precision）”（你给出的结果有多少是正确的）和“召回率（recall）”（正确的结果有多少被你给出了） 这两个通常是此消彼长的（trade off），很难兼得。很多时候用参数来控制，通过修改参数则能得出一个准确率和召回率的曲线（ROC），这条曲线与x和y轴围成的面积就是AUC（ROC Area）。AUC可以综合衡量一个预测模型的好坏，这一个指标综合了
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值