1. 查准率、查全率、精确度等
查准率 (Precision)和查全率(Recall)
对于二分类问题,可将样例根据其真实类别与学习器预测类别的组合划分为真正例(true positive)、假正例(false positive)、真反例(true negative)、假反例(false negative)四种情形,令TP、FP、TN、FN分别表示其对应的样例数,则显然有TP+FP+TN+FN=样例总数。分类结果的“混淆矩阵”(confusion matrix)如下表所示。
预测类 | 预测类 | ||
正例 | 反例 | ||
真实类 | 正例 | TP-真阳性 | FN-假阴性 |
真实类 | 反例 | FP-假阳性 | TN-真阴性 |
查准率(Precision),又叫准确率,缩写表示用P。查准率是针对我们预测结果而言的,它表示的是预测为正的样例中有多少是真正的正样例。定义公式如(1)所示。
(1)
P
=
T
P
T
P
+
F
P
P=\frac{TP}{TP+FP}\tag{1}
P=TP+FPTP(1)
注意:这里大家有一个容易混淆的误区。精度(Accuracy)和准确率(Precision)表示的是不同的概念,计算方法也不同。
查全率(Recall),又叫召回率,缩写表示用R。查全率是针对我们原来的样本而言的,它表示的是样本中的正例有多少被预测正确。定义公式如(2)所示。
(2)
R
=
T
P
T
P
+
F
N
R=\frac{TP}{TP+FN}\tag{2}
R=TP+FNTP(2)
精确度(Accuracy),缩写表示用A。精确度则是分类正确的样本数占样本总数的比例。Accuracy反应了分类器对整个样本的判定能力(即能将正的判定为正的,负的判定为负的)。定义公式如(3)所示。
(3)
A
=
T
P
+
T
N
T
P
+
T
N
+
F
P
+
F
N
A=\frac{TP+TN}{TP+TN+FP+FN}\tag{3}
A=TP+TN+FP+FNTP+TN(3)
2. F1度量(F1-Score)
F1-Score是查准率?和查全率? 的调和平均数,定义公式如(4)所示。
(4)
F
1
 
S
c
o
r
e
=
2
1
P
+
1
R
F_1\,Score=\frac{2}{\frac{1}{P}+\frac{1}{R}}\tag{4}
F1Score=P1+R12(4)
3. 端到端的深度学习(end-to-end DL)
特点
- 需要大量数据才能表现良好
- 当问题难以一步到位时,可选择将任务分成不同的子任务,保证每个子任务有大量的数据集和处理方法
优势
- 让数据说话,只要有足够多的数据,可以训练出足够大的网络,可能获得数据中足够多的统计信息,而不是引入人类的成见
- 所需手工设计的组件更少,所以这也许能够简 化你的设计工作流程,你不需要花太多时间去手工设计功能,手工设计这些中间表示方式
缺点
- 需要大量数据。如果数据量不足,还需要手工设计特征,效果可能更好
- 排除了可能有用的手工设计组件
- 它把可能有用的人工设计的组件排除在外了,精心设 计的人工组件可能非常有用,但它们也有可能真的伤害到你的算法表现