bias-variance trade-off

    最近在看S t a n d fo  rd吴恩达的上课教学视频，感觉这是最好的教程了，可以一步一步的教你怎么推导算法，通过了解算法的推导过程，能有效的掌握算法，在使用的过程中可以更好的使用它。特别是刚开始入门，能跟着一个视频学习，那是极好的。能快速入门，并掌握实际运用过程中的注意的事项，以及相应的应用和直观感受。这是只看书所得不到的好处。课程中总是提到“偏差-方差”，每一次总是跟着他有直观的感受，但是我不了解它的原理就感觉心里很虚。。所以从网上搜索相关的知识，从中国的知乎到中国的个人博客，看了挺多，感觉都没有讲清楚，有推导过程的也不详细，最后还是在 w i k i百科上得到了我想要的答案。。。【以下链 接的*用.代替】

。。。。。。怎么才能躲过审核。。。。没有链接啊。。。

 

•     先来一个直观的感受：

 

 

•     通过周志华的《机器学习》可以有深一步的直观的了解：

 

    泛化误差可分解为偏差、方差与噪声之和。

 

    偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

偏差-方差分解说明，泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。给定学习任务，为了取得好的泛化性能，则需使偏差较小，既能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。

 

 

•     w i k i百科的具体的推导公式

  

 

• 从上式中，可以推出：

 

完成！