F1和Fβ分数

最新推荐文章于 2023-10-23 19:24:35 发布

火星种萝卜

最新推荐文章于 2023-10-23 19:24:35 发布

阅读量827

点赞数 2

分类专栏： AI理论李航统计学系方法系列

原文链接：https://blog.csdn.net/weixin_39346243/article/details/79293358

版权

AI理论同时被 2 个专栏收录

206 篇文章 5 订阅

订阅专栏

李航统计学系方法系列

204 篇文章 5 订阅

订阅专栏

https://blog.csdn.net/weixin_39346243/article/details/79293358

Fβ分数为精确率和召回率的加权谐波平均值

https://blog.csdn.net/weixin_46649052/article/details/112750040

查准率和查全率的调和平均，比算术平均（求和除以2）和几何平均（平方相乘开方）更重视较小值。

1/F1 = 1/2 (1/P + 1/R)

1/Fβ = 1/(1+β)（1/P + β²/R）
Page32: 宏F1(macro-F1)

如果进行多次训练/测试，每次得到一个混淆矩阵，或是在多个数据集上进行训练/测试，可以在n个混淆矩阵上综合考察查准率和查全率

macro-P = 1/n(∑Pi)

macro-R = 1/n(∑Ri)

1/macro-F1 = 1/2*(1/macro-P + 1/macro-R)
Page32: 宏查全率

见宏F1之macro-R
Page32: 宏查准率

见宏F1之macro-P
Page32: 微F1(micro-F1)

将各混淆矩阵的对应元素进行平均，再去计算，可以得到micro-F1
Page32: 微查准率

将各混淆矩阵的对应元素进行平均，再去计算
Page32: 微查全率

将各混淆矩阵的对应元素进行平均，再去计算

Page33: ROC曲线(46)

真正例率（True Positive Rate，TPR）和假正例率（FPR）的关系曲线

TPR = TP/(TP+FN)

FPR = FP/(TN+FP)
Page35: 代价(47)(cost)

为权衡不同类型错误所造成的不同损失，可为错误赋予“非均等代价”
Page35: 代价矩阵

真实情况	预测为0类	预测为1类
0类	0	cost01
1类	cost10	0

Page36: 代价敏感(67)(cost-sensitive)

在损失函数中考虑了非均等代价
Page36: 代价曲线

正例概率代价（横轴）和归一化代价（纵轴）的曲线

正例概率代价： P(+)cost = p * cost01 /( p * cost01 + (1 - p) * cost10)，p是样例为正例的概率

归一化代价： cost_norm = (FNR * p * cost01 + FPR * (1-p) * cost10)/(p * cost01+ (1-p) * cost10)
Page36: 规范化(183)(normalization)

将不同变化范围的值映射到相同的固定范围中，常见的是[0,1]，此时亦称归一化
Page36: 归一化（regular）

同规范化
Page36: 总体代价

错误率是直接计算错误次数，并没有考虑不同错误会造成不同的后果，在非均等代价下，我们所希望的不再是简单的最小化错误次数，而是希望最小化总体代价
Page37: 假设检验(hypothesis test)

假设是对学习器泛化错误率分布的某种判断或猜想，用测试错误率估计泛化错误率，以检查学习器性能。
Page38: 二项检验（binomial test）

二项分布检验，根据收集到的样本数据，推断总体分布是否服从某个指定的二项分布。泛化错误率为e的学习器被测得测试错误率为e’的概率是服从二项分布的。
Page38: 置信度(confidence)

估计总体参数落在某一区间时，可能不犯错误的概率，一般用符号1-α表示。
Page40: 交叉验证成对t校验（paired t-tests）

对两个学习器A和B，使用k折交叉验证法分别得到k个测试错误率，如果两个学习器性能相同，则使用相同训练/测试集时测试错误率应该相同，求两个学习器的k个测试错误率的差，若abs(sqrt(k)*μ/σ)＜临界值则认为两个学习器性能相同。
Page41: 5x2交叉验证

由于交叉验证中，不同轮次的训练集之间有一定程度的重复，会过高估计假设成立的概率，因此做5次2折交叉验证，每次验证前将数据打乱，对5次2对2个学习器的测试错误率求差值，对所有差值求方差，对前两次差值求均值，再进行临界值判断。
Page41: McNemar检验

两个学习器分类差别列联表

算法B\A	正确	错误
正确	e00	e01
错误	e10	e11

检验变量|e01-e10|是否服从正态分布，服从则认为两学习器性能相同等同于检查τx² = (|e01-e10|-1)²/(e01+e10) 是否服从自由度为1的卡方分布（标准正态分布变量的平方）

Page41: 列联表(187)

见McNemar检验
Page42: Friedman检验

有多个数据集多个学习器进行比较时使用，对各个算法在各个数据集上对测试性能排序，对平均序值计算τx²和τF,并进行临界值检验。
Page43: Nemenyi后续检验(Nemenyi post-hoc test)

学习器性能性能显著不同时，进行后续检验来进一步区分各算法，临界值域：CD=qα* sqrt(k*(k+1)/6N)
Page44: 偏差-方差分解(177)

对学习算法的期望泛化错误率进行拆解，学习算法在不同训练集上学得的结果很可能不同，真实输出与期望输出的差别称为偏差(bias)，使用样本数相同的不同训练集产生的输出的方差为var(x)，有：E(f;D) = bias²(x) + var(x) + ε²
https://www.bbsmax.com/A/ke5jxlL9zr/