统计学习的三板斧

二十世纪九十年代中期，统计学习(Statistic Learning)的出现迅速占领了机器学习的舞台。其中代表的是支撑向量机以及更一般的核方法。
其中Vapink大牛提出的统计学习理论为统计学打下坚实的理论基础。

李航老师提出的统计学系三要素即：模型+策略+算法。

构建模型

监督学习过程中，模型就是所要学习的条件概率分布或决策函数。魔性的假设空间包括所有可能的条件概率分布或决策函数。
这里假设决策函数是输入变量的线性函数，把假设空间定义为决策函数的集合：

${F}={{f}{|}{Y}=f(X)}$

也可以写作

${F}={f|Y=f_\theta(x),\theta}$

$\theta$取值于$n$维欧氏空间${R}^n$

策略：

给出了模型的假设空间，接下来考虑以怎样的准则学习以得到最优的模型。
所以自然引入损失函数的概念，用来衡量预测错误的程度。
常用的损失函数有
0-1损失函数

$L(Y,f(X))=1 , Y\neq f(X)\quad or\quad 0,Y\equiv f(X)$

平方损失函数

$L(Y,f(X))\equiv (Y-f(X))^2$

绝对损失函数

$L(Y,f(X))\equiv \left | Y-f(X)) \right |$

对数损失函数

$L(Y,P(Y|X))\equiv -logP(Y|X)$

在这里，有必要区分一下经验风险与结构风险的概念。
把模型f(X)关于训练数据集的平均损失称为经验风险，记为：

$R_{emp}(f) =\frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i))$

最终转为求最优化问题：

Min:$R_{emp}(f) =\frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i))$

在样本容量足够大的时候，经验风险最小化能得到较好的学习效果。

当样本容量较小时，往往采用结构风险最小化，其目的是为了防止样本量不大的条件下容易发生的过拟合的问题，通过加上正则化项来防止过拟合问题，可以定义为

$R_{erm}(f) =\frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i)+\lambda J(f))$

其中J(f)为模型的复杂度，表示对复杂模型的惩罚，$\lambda >=0$是系数，用以权衡经验风险和模型复杂度。

算法：

我们根据学习策略，从假设空间中选择最优模型，最后基本可以转为最优化问题，考虑采用具体的算法求解。
目前对复杂优化问题的求解，依然是制约机器学习领域发展的瓶颈之一。
对优化问题的讨论，也会是我接下要研究的重点之一。

参考书目：
《统计学习方法》李航
《机器学习》周志华