统计学习三要素以及常见的损失函数，经验风险与结构风险的关系

 

统计学习的三要素：模型，策略，算法。

模型：统计学习首先要考虑的是学习什么样的模型。在监督学习过程中，模型就是所要学习的条件概率分布P(y|x)或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。例如，假设决策函数是输入变量的线性函数，那么模型的假设空间就是所有这些线性函数构成的函数集合

策略：有了模型的假设空间，统计学习接着需要考虑的是按照什么样的准则（损失函数）来选出空间中最优模型。

算法：学习模型的具体算法，即考虑用什么样的算法求解出最优模型（使得损失函数最小）。

 

常见的损失函数：

1）0-1损失函数(0-1 loss function)：

 

2）平方损失函数(quadratic loss function)

    = (Y – f(X) )^2

3)  绝对损失函数(absolute loss function)
    = | Y – f(X) ) |

4) 对数损失函数(logarithmic loss function) 或 对数似然损失函数(log-likelihood loss function)
   = - log P(Y|X)

 

损失函数越小，模型就越好。由于模型的输入输出是随机变量，遵循联合概率分布P(X,Y)，所以损失函数的期望是

这是理论上模型f(X)关于联合概率分布P(X,Y)的平均意义下的损失，称为风险函数(risk function)或期望损失(expected loss)。

学习的目标就是选择期望风险最小的模型。由于联合分布P(X,Y)是未知的，Rexpf 不能直接计算。实际上，如果知道了联合概率分布，可以直接求出条件概率分布P(Y|X)，也就不需要学习了。正是因为不知道联合概率分布才需要进行学习。 这样一来，一方面根据期望风险最小学习模型要用到联合分布，另一方面联合分布是未知的，随意监督学习就称为一个病态问题(ill-formed problem)。

 

对于一个给定的训练集：

T = {(x1,y1), …,(xN,yN)}

模型f(X)关于训练数据集的平均损失称为经验风险(empirical risk)或经验风险(empirical loss)：

根据大数定律，当样本容量N趋于无穷时，经验风险接近于期望风险。所以一个很自然的想法是用经验风险估计期望风险，但是，由于现实中训练样本数目有限，甚至很小，所以用经验风险来估计期望风险并不理想，需要对经验风险进行一定的矫正，这关系到监督学习的两种基本策略： 经验风险最小化 和 结构风险最小化。

 

结构风险最小化是为了防止过拟合而提出的策略。结构风险最小化等价于正则化，结构风险在经验风险上加上表示模型复杂度的正则化项或惩罚项。

关于经验风险最小化理论： https://blog.csdn.net/qq_35865125/article/details/87738989

 

Ref:

《统计机器学习》 – 李航