一步一步机器学习（六）：模型选择和正则化

本章关注的问题是如何从H类(假设空间)中选择合适的模型，由此过渡到讨论模型选择中的特殊问题特征选择。好的特征往往能决定模型训练的上限。从这个角度来看，本章的理论知识至关重要。后半部分讨论的是从贝叶斯统计(Bayesian Statistics)角度解读正则化，并从理论上推导了正则化项数学上等价于最大后验估计(MAP)中引入的先验。
这个结论是非平凡的，因为这从统计学角度阐述了MAP与ML(极大似然估计)的关系，从而证明了在机器学习问题中贝叶斯统计相较于古典频率论，在某些方面更为优异。此外，本节笔记还补充了SVM正则化角度推导，有助于进一步加深对于SVM的理解。

模型选择与正则化总结如下：

关于贝叶斯统计部分的理论知识借鉴了贝叶斯统计这个专栏，有关从最大后验估计角度理解正则化借鉴了从贝叶斯角度深入理解正则化这篇文章。互相学习才能共同进步。