机器学习之路——《统计学习方法》（一）

    最近开始阅读李航老师的经典著作《统计学习方法》，现将其中自认为较为重要的点写出来，一个是作为回忆复习，二一个是希望能够分享给更多人。第一次写博客，如有错误，希望多包涵。

   第一章统计学习方法概论

    个人认为第一章主要介绍的是机器学习中一些最为基本的概念和重要的要素，比方说监督学习，假设空间，损失函数，风险函数（期望风险），经验风险，结构风险，正则化，过拟合，泛化误差这些概念。非常好理解，而且只用一些比较简单的数学表示，从字面上到数学公式可以构建一个比较直观的联系。

下面给出学习之后我个人觉得很重要的三个推导

一 由经验风险最小化推导极大似然估：

二 由结构风险最小化推导最大后验概率：

三 证明二类分类问题的泛化误差上界：

无限个函数的情况没有讨论。

问题一：书上说当模型是条件概率分布，损失函数是对数损失函数，结构风险最小化就等价于MAP，但是上面给出了损失函数是平方损失函数，结果也是结构风险最小化。也就是似然概率服从高斯分布时的推导。

问题二：推导泛化误差上界过程中那个N，是如何从分子跑到分母的，还有就是hoeffding不等式给的是随机变量之和，怎么带成期望风险和经验风险的？那个1/N那里去了？是不等式左边那个N吗？