第三部分 机器学习(ML)策略1 - 5 笔记

1.9 可避免偏差

Avoidable bias

偏差 VS 方差

明确贝叶斯误差亦或是人类水平误差有利于在不同的场景下专注于不同的算法调整策略。

例子 猫分类器

Case1：如果训练误差以及开发误差与人类水平误差相差较大 (huge gap)，需要把算法的重点放在减少偏差(bias)上，可以通过调整网络结构(更大、更深)、增加训练时间等方式调整。(gap between Bays error and Training error ) Bias

Case2：如果训练误差比较接近人类水平，这个时候需要调整的就是训练误差与开发误差相差的分量，称为减少偏差(variance)，可以通过正则化、dropout、增加训练数据等方式。(gap between Training and Dev error) Variance

当训练误差及开发误差相同时，选择减少偏差还是方差，取决于评价的基准，通常选择人类水平作为评价标准，因为人类水平一般情况下都比较接近贝叶斯误差。

贝叶斯误差与训练误差之间的差值可称为 可避免偏差( Avoidable bias)。

1.10 理解人的表现

Understanding human-level performance

例子1 医学影像诊断

如何界定人类水平误差？ 人类水平误差在算法调整中是用来衡量或者估计贝叶斯误差的，贝叶斯误差的最佳估计应该优于或等于人类最佳水平。例子中贝叶斯误差小于或等于0.5%。

例子2 误差分析

Case1: 无论选择何种医生水平作为人类水平误差，可避免误差均大于偏差 。

Case2: 无论选择何种医生水平作为人类水平误差，方差总大于可避免偏差 。

Case3: 当训练得到的精度接近人类水平时，选择哪一种人类水平误差作为衡量会影响机器学习的调整策略，这也是在接近或者超过人类水平之后，机器学习速度放慢的原因。