http://www.ai-start.com/dl2017/html/lesson3-week1.html
机器学习(ML)策略(1)(ML strategy(1))
为什么是ML策略?(Why ML Strategy?)
正交化(Orthogonalization)
单一数字评估指标(Single number evaluation metric)
查准率(precision)和查全率(recall)
F
1
F_1
F1分数:
2
1
P
+
1
R
\frac{2}{\frac{1}{P} + \frac{1}{R}}
P1+R12,在数学中,这个函数叫做查准率
P
P
P和查全率
R
R
R的调和平均数。
满足和优化指标(Satisficing and optimizing metrics)
程序运行时间
假阳性(false positive)
训练/开发/测试集划分(Train/dev/test distributions)
开发(dev)集也叫做开发集(development set),有时称为保留交叉验证集(hold out cross validation set)。
数据随机洗牌
开发集和测试集的大小(Size of dev and test sets)
什么时候该改变开发/测试集和指标?(When to change dev/test sets and metrics)
为什么是人的表现?(Why human-level performance?)
贝叶斯错误率