深度学习性能度量

深度学习性能度量

1.确定目标，即使用什么误差度量是第一步

因为误差度量将指导接下来的所有工作
同时我们也能够了解大概能得到什么级别的目标性能

2.对大多数应用而言，不可能实现绝对零误差

即使有无限的训练数据，并且恢复了真正的概率分布，但是由于输入特征可能无法包含输出变量的完整信息、或者系统本质上是个随机系统，则仍然产生了误差
当然实际上我们也不可能有无限的训练数据

3.通常我们需要收集更多的数据。但是我们需要在收集更多数据的成本，与进一步减少误差的价值之间权衡

4.通常我们需要对错误率定一个 baseline 从而判断预测得好坏

对于学术界，我们可以将先前公布的基准结果作为 baseline
在工业界，我们从安全的、能带来性价比、或者能吸引用户的角度来确定错误率的 baseline

5.性能度量：表明从哪个角度来度量算法的性能

常见的有：精度precision，召回率recall以及 PR curve，ROC曲线，F-score等

还有一种：覆盖率。它是机器学习系统能够产生响应的样本占所有样本的比例

一个系统可以拒绝处理任何样本，从而达到 100% 的精度。但是覆盖率为 0%
也可以从专业角度考量：点击率、用户满意度调查等等

最重要的是：确定使用哪个性能度量