ML: F1score与Macro-F1 score

F1 score

F1值是一种用于评估二分类模型性能的指标，结合了模型的精确度（Precision）和召回率（Recall）。F1值是这两个指标的调和平均数。

1. 精确度（Precision）：

   • 精确度是指模型在预测为正类别的样本中，有多少是真正的正样本。它的计算公式是：
     $$Precision=\frac{TP}{TP+FP}$$
     其中，(TP) 是真正例（True Positive），(FP) 是假正例（False Positive）。

2. 召回率（Recall）：

   • 召回率是指在所有真正的正类别样本中，模型成功预测为正类别的比例。计算公式是：
     $$Recall=\frac{TP}{TP+FN}$$
     其中，(TP) 是真正例，(FN) 是假负例（False Negative）。

3. F1值（F1 Score）：

   • F1值是精确度和召回率的调和平均数，计算公式是：
     $$F1=2\cdot \frac{Precision\cdot Recall}{Precision+Recall}$$
     这个指标的取值范围在0到1之间，值越高表示模型的性能越好。F1值在处理不平衡数据集时特别有用，因为它同时考虑了误报和漏报的情况。

F1值对于那些需要平衡精确度和召回率的任务非常有用，例如医学诊断、垃圾邮件检测等。在实际应用中，选择合适的评估指标取决于具体问题的性质，有时也需要结合其他指标来全面评估模型性能。

Macro-F1 score

Macro-F1 是在多分类问题中用于评估模型性能的一种指标。它是 F1 Score 在每个类别上的平均值，而不考虑类别的样本数量差异。Macro-F1 将每个类别视为平等，不考虑类别的不平衡性。

在多分类问题中，我们通常有多个类别（标签），每个类别都有属于自己的真正例（True Positive, TP）、假正例（False Positive, FP）和假负例（False Negative, FN）。Macro-F1 分数通过计算每个类别的 Precision 和 Recall，然后取平均得到。

以下是 Macro-F1 的计算步骤：

1. 计算每个类别的 Precision 和 Recall：

   • 对于每个类别i，计算 Precision 和 Recall：
     $$Precisio{n}_i=\frac{T{P}_i}{T{P}_i+F{P}_i}$$
     $$Recal{l}_i=\frac{T{P}_i}{T{P}_i+F{N}_i}$$
   • 这里，(TP_i )是类别i的真正例，(FP_i) 是类别i的假正例，(FN_i) 是类别i的假负例。

2. 计算 Macro-Precision 和 Macro-Recall：

   • 对所有类别i的 Precision 和 Recall 取平均得到 Macro-Precision 和 Macro-Recall：
     $$\text{Macro-Precision}=\frac{1}{N}\sum _{i=1}^{N}Precisio{n}_i$$
     $$\text{Macro-Recall}=\frac{1}{N}\sum _{i=1}^{N}Recal{l}_i$$
     这里，N 是类别的总数。

3. 计算 Macro-F1：

   • 利用 Macro-Precision 和 Macro-Recall 计算 Macro-F1：
     $$\text{Macro-F1}=\frac{2\times \text{Macro-Precision}\times \text{Macro-Recall}}{\text{Macro-Precision}+\text{Macro-Recall}}$$

Macro-F1 的优点在于它平等对待每个类别，不受类别样本数量的影响。然而，当类别之间的样本数量差异较大时，Macro-F1 可能会受到较小类别的影响较大，因为它们的 Precision 和 Recall 对平均值的贡献相对较小。