第三部分 机器学习(ML)策略1 - 2 笔记

1.3 单一数字评估指标

Single number evaluation metric

当评价分类器A/B算法好坏的时候，如果有两个指标比如准确率 Precision和查全率 Recall可供选择，往往不好评价哪个分类器更加好。若有一个单一的评价指标可以综合这两个标准，即可对分类器A/B的优劣进行评价。

准确率：判断该物为A的概率是多少。

 

查全率：类别为A的物体被识别的概率是多少。

F1-Score 调和平均值。

不同算法在不同场景下误差的平均值也可以作为单一指标，简单有效。

单一的算法评估指标可以算法评估指标可以有效的对算法效率进行评价，进而利于算法的迭代。

1.4 满足和优化指标

Satisficing and optimizing metrics

将所有的评价指标综合为一个，有时候并不太现实。

可以自定义将多个指标进行综合，例如线性/非线性加权。

也可以将评价指标分为 优化指标和 满足指标。 Satisficing and optimizing metrics

在一定阈值内，满足指标得到保证，可以不予考虑，仅考虑优化指标( 单一)即可。

(评价指标必须是在 训练/开发/测试集上进行评价的)

评价规则：