李宏毅老师机器学习课程笔记_ML Lecture 2: Where does the error come from?

引言：

最近开始学习“机器学习”，早就听说祖国宝岛的李宏毅老师的大名，一直没有时间看他的系列课程。今天听了一课，感觉非常棒，通俗易懂，而又能够抓住重点，中间还能加上一些很有趣的例子加深学生的印象。
视频链接（bilibili）：李宏毅机器学习(2017)
另外已经有有心的同学做了速记并更新在github上：李宏毅机器学习笔记(LeeML-Notes)
所以，接下来我的笔记只记录一些我自己的总结和听课当时的困惑，如果有能够帮我解答的朋友也请多多指教。

一、误差来自哪里？该如何处理这些误差？

从第一课可以知道，越复杂的模型并不一定会带来越低的误差（error）。误差来自两方面：

• 偏差（bias）
• 方差（variance）
  如果可以诊断误差的来源，就可以选择适当的方法来改进自己的模型。
  看到这里我有一些困惑，误差、偏差、方差听起来太像了，到底有什么区别呢？