评价指标
准确率、精确率、召回率
True Positive(真正,TP):将正类预测为正类数
True Negative(真负,TN):将负类预测为负类数
False Positive(假正,FP):将负类预测为正类数误报 (Type I error)
False Negative(假负,FN):将正类预测为负类数→漏报 (Type II error)
精确率:是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了,一种就是把正类预测为正类(TP),另一种就是把负类预测为正类(FP)
召回率是针对我们原来的样本而言的,它表示的是样本中的正例有多少被预测正确了。那也有两种可能,一种是把原来的正类预测成正类(TP),另一种就是把原来的正类预测为负类(FN)。
举例:
TP: 将正类预测为正类数 40
FN: 将正类预测为负类数 20
FP: 将负类预测为正类数 10
TN: 将负类预测为负类数 30
准确率(accuracy) = 预测对的/所有 = (TP+TN)/(TP+FN+FP+TN) = 70%
精确率(precision) = TP/(TP+FP) = 80%
召回率(recall) = TP/(TP+FN) = 2/3
mAP
PR曲线:P,precision,即 准确率 ;R,recall,即 召回率 。以 precision 和 recall 作为 纵、横轴坐标 的二维曲线。
一般来说,precision 和 recall 是 鱼与熊掌 的关系。
AP值:Average Precision,即 平均精确度 。如何衡量一个模型的性能,单纯用 precision 和 recall 都不科学。于是人们想到,把 PR曲线下的面积 当做衡量尺度,于是就有了 AP值 这一概念。这里的 average,等于是对 precision 进行取平均 。
mAP值:Mean Average Precision,即 平均AP值 。是对多个验证集个体求平均AP值 。
训练循环的名词
epoch、 iteration和batchsize
(1)batchsize:每训练训练集取batchsize本训练;
(2)iteration:1iteration等于使用batchsize本训练;
(3)epoch:1epoch等于使用训练集全部本训练;
举例
训练集1000,batchsize=10:
训练完整本集需要:
100 iteration 1 epoch