性能度量
- 精度p:检测正确的比率
- 召回率r:真实事件被检测到的概率
- 检测器永远没有报告负样本时,会得到一个完美的精度,但召回率为零。
- 报告所有样本都是负样本时,召回率很完美,但是精度会等于真实的负样本占比。
- PR曲线:y轴表示精度,x轴表示召回率。
- F-score: F = 2 p r p + r F=\frac{2pr}{p+r} F=p+r2pr
默认的基准模型
确定性能度量和目标之后,任何实际应用的下一步都是建立一个合理的端到端系统。
根据问题的复杂性,项目刚开始时无需使用深度学习。如果只需正确地选择几个线性模型就能解决问题当然是最好的。
如果问题属于“AI-完全”类,如对象识别、机器翻译等,那么项目开始于一个合适的深度学习模型效果会比较好。
决定是否收集更多数据
如果模型在训练集上的性能很差,学习算法都不能再训练集上学习出良好的模型,那么就没必要收集更多的数据。反之应该增加更多的网络层或每层增加更多的隐藏单元,以增加模型的规模。
如果测试集上的性能比训练集差得多,那么就应该收集更多的数据了。
选择超参数
超参数选择方法将会在另一个专栏里介绍
- 退火算法
- 网格搜索
- 随机搜索
- ……