第一周 机器学习（ML）策略（1）：1.10 理解人的表现

目录

第一章、简介

第二章、理解人的表现

2.1、 “人类水平错误率”的概念

2.2、 “人类水平错误率”的意义

2.3、 人类水平错误率与训练错误率的差值，决定了可避免偏差的大小

2.4、 贝叶斯错误率理论上是0%

2.5、小结

---

第一章、简介

 

• 本文基于吴恩达人工智能课程做学习笔记、并融入自己的见解(若打不开请复制到浏览器中打开)https://study.163.com/courses-search?keyword=吴恩达。
• 本文第二章将介绍 理解人的表现。

 

第二章、理解人的表现

 

2.1、 “人类水平错误率”的概念

 

• 人类水平表现这个词，在论文里经常随意使用，但我现在告诉你这个词更准确的定义，特别是使用人类水平表现这个词的定义，可以帮助你们推动机器学习项目的进展。
• 还记得上个视频中我们用过这个词——人类水平错误率，用来估计贝叶斯错误，那就是理论最低的错误率。任何函数不管是现在还是将来能够到达的最低值。
• 我们先记住这点 然后看看医学图像分类例子。

 

2.2、 “人类水平错误率”的意义

 

• 假设你要观察这样的放射科图像，然后作出分类诊断，如图2-1所示。
• 假设一个普通的人类、未经训练的人类，在此任务上达到 3%的错误率。
• 普通的医生，也许是普通的放射科医生能达到 1% 的错误率。
• 经验丰富的医生做得更好，错误率为 0.7 %。
• 还有一队经验丰富的医生，就是说如果你有一个经验丰富的医生团队，让他们都看看这个图像，然后讨论并辩论，他们达成共识的意见达到 0.5% 的错误率。

 

图2-1

 

• 所以我想问你的问题是 你应该如何界定人类水平错误率?人类水平错误率 3%, 1%, 0.7% 还是 0.5%?
• 我在这里就直接给出人类水平错误率的定义，就是如果你想要替代或估计贝叶斯错误率，那么一队经验丰富的医生讨论和辩论之后，可以达到 0.5% 的错误率，我们知道贝叶斯错误率小于等于 0.5%，因为有些医生团队可以达到 0.5% 的错误率。所以根据定义，最优错误率必须在 0.5% 以下。
• 我们不知道多少更好，也许有一个更大的团队，更有经验的医生能做得更好，所以也许比 0.5% 好一点，但是我们知道最优错误率不能高于 0.5%。
• 那么在这个背景下，我就可以用 0.5%估计贝叶斯错误率，所以我将人类水平定义为 0.5%，至少如果你希望使用人类水平错误，来分析偏差和方差的时候 就像上个视频那样。
• 现在，为了发表研究论文，或者部署系统，也许人类水平错误率的定义可以不一样，你可以使用典型有经验的医生团队的误差(0.5%)作为人类水平错误率，只要你超越了一个普通医生的表现即可。
• 如果能达到这种水平，那系统已经达到实用了，也许超过一名放射科医生，意味着系统在一些情况下可以有部署价值了。
• 本视频的要点是，在定义人类水平错误率时，要弄清楚你的目标所在，如果要表明你可以超越单个人类,那么就有理由在某些场合部署你的系统，普通医生1%错误率即可合适部署。
• 但是如果您的目标是替代贝叶斯错误率，具有丰富经验医生团队0.5%错误率即可合适部署。
• 人类水平错误率的意义，我总结了是否可替代贝叶斯错误率、部署价值、论文参考价值，如图2-2所示。

 

图2-2

 

2.3、 人类水平错误率与训练错误率的差值，决定了可避免偏差的大小

 

• 人类水平错误率的为什么具有如此重大的意义？
• 假如在医学图像诊断例子中，你的训练错误率是 5% 你的开发错误率是 6%。那么人类水平错误率与训练错误率的差值就衡量了所谓的可避免偏差。
• 可避免偏差 的定义，在我的上一篇文章已经详细讲解过。
• 我们将讨论如图2-3所示人类水平错误率的几种场景。

• 场景A，人类水平错误无论是选取1%、0.7%、0.5%中的哪一个，可避免偏差大概是 4%左右(即 4%/ 4.3%/4.5%)。
• 场景A，不管你怎么定义人类水平错误率，使用单个普通医生的错误率定义，还是单个经验丰富医生的错误率定义，或经验丰富的医生团队的错误率定义，可避免偏差(即 4%/ 4.3%/4.5%)明显比方差(1% = 6% -5%)更大。
• 所以在这种情况下，你应该专注于减少偏差的技术 例如训练更大的网络。

• 场景B，可避免偏差就比较小了（分别是0%/0.3%/0.5%）。
• 但是开发错误与训练错误率的差值为 4%， 4%的差距比任何一种定义的可避免偏差都大，所以你应该主要使用减少方差的工具，比如正则化 或者去获取更大的训练集。
• 这什么时候真正有效呢?假如你把场景B优化成场景C，就是比如你的训练错误率是 0.7%，所以你现在已经做得很好了。你的开发错误率是 0.8%，在这种情况下你用 0.5%来估计贝叶斯错误率关系就很大。
• 因为在这种情况下，你测量到的可避免偏差是 0.2%(0.7%-0.5%)，这是你测量到的方差问题 0.1%(0.8%-0.7%) 的两倍，这表明也许偏差和方差都存在问题，但是可避免偏差问题更严重.

• 场景C中，我们在上一张幻灯片中讨论的是 0.5%就是对贝叶斯错误率的最佳估计，因为一群人类医生可以实现这一目标。
• 场景C中，如果你用 0.7% 代替贝叶斯错误率，你测得的可避免偏差基本上是 0%，那你就可能忽略可避免偏差了。
• 实际上你应该试试能不能在训练集上做得更好，我希望讲这个能让你们有点概念，知道为什么机器学习问题上取得进展会越来越难。
• 当你接近人类水平时进展会越来越难，场景C中一旦你接近 0.7% 错误率，除非你非常小心估计贝叶斯错误率(可能0.5%)，否则你可能无法知道离贝叶斯错误率有多远，所以你应该尽量减少可避免偏差。
• 场景C说明为什么当你们接近人类水平时，更难分辨出问题是偏差还是方差。所以机器学习项目的进展，在你已经做得很好的时候很难更进一步。 

 

图2-3

 

2.4、 贝叶斯错误率理论上是0%

 

• 你可以使用人类水平错误率来估计贝叶斯错误率，所以你到贝叶斯错误率估计值的差距，告诉你可避免偏差问题有多大，可避免偏差问题有多严重。
• 而训练错误率和开发错误率之间的差值，告诉你方差上的问题有多大，你的算法是否能够从训练集泛化推广到开发集。
• 有时贝叶斯错误率是非零的，有时基本不可能做到0，而事实证明对于贝叶斯错误率几乎是 0% 的问题这样就行了。

 

2.5、小结

 

• 回顾一下，对人类水平有大概的估计，可以让你做出对贝叶斯错误率的估计，这样可以让你更快地作出决定是否应该专注于减少算法的偏差，或者减少算法的方差。
• 这个决策技巧通常很有效，直到你的系统性能开始超越人类，那么你对贝叶斯错误率的估计就不再准确了。
• 但这些技巧还是可以帮你做出明确的决定，现在深度学习的令人兴奋的发展之一就是对于越来越多的任务，我们的系统实际上可以超越人类了。
• 在下一个视频中，让我们继续谈谈超越人类水平的过程。