统计学习的三要素:模型,策略,算法。
模型:统计学习首先要考虑的是学习什么样的模型。在监督学习过程中,模型就是所要学习的条件概率分布P(y|x)或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。例如,假设决策函数是输入变量的线性函数,那么模型的假设空间就是所有这些线性函数构成的函数集合
策略:有了模型的假设空间,统计学习接着需要考虑的是按照什么样的准则(损失函数)来选出空间中最优模型。
算法:学习模型的具体算法,即考虑用什么样的算法求解出最优模型(使得损失函数最小)。
常见的损失函数:
1)0-1损失函数(0-1 loss function):
2)平方损失函数(quadratic loss function)
= (Y – f(X) )^2
3) 绝对损失函数(absolute loss function)
= | Y – f(X) ) |
4) 对数损失函数(logarithmic loss function) 或 对数似然损失函数(log-likelihood loss function)
= - log P(Y|X)
损失函数越小,模型就越好。由于模型的输入输出是随机变量,遵循联合概率分布P(X,Y),所以损失函数的期望是
这是理论上模型f(X)关于联合概率分布P(X,Y)的平均意义下的损失,称为风险函数(risk function)或期望损失(expected loss)。
学习的目标就是选择期望风险最小的模型。由于联合分布P(X,Y)是未知的,Rexpf 不能直接计算。实际上,如果知道了联合概率分布,可以直接求出条件概率分布P(Y|X),也就不需要学习了。正是因为不知道联合概率分布才需要进行学习。 这样一来,一方面根据期望风险最小学习模型要用到联合分布,另一方面联合分布是未知的,随意监督学习就称为一个病态问题(ill-formed problem)。
对于一个给定的训练集:
T = {(x1,y1), …,(xN,yN)}
模型f(X)关于训练数据集的平均损失称为经验风险(empirical risk)或经验风险(empirical loss):
根据大数定律,当样本容量N趋于无穷时,经验风险接近于期望风险。所以一个很自然的想法是用经验风险估计期望风险,但是,由于现实中训练样本数目有限,甚至很小,所以用经验风险来估计期望风险并不理想,需要对经验风险进行一定的矫正,这关系到监督学习的两种基本策略: 经验风险最小化 和 结构风险最小化。
结构风险最小化是为了防止过拟合而提出的策略。结构风险最小化等价于正则化,结构风险在经验风险上加上表示模型复杂度的正则化项或惩罚项。
关于经验风险最小化理论: https://blog.csdn.net/qq_35865125/article/details/87738989
Ref:
《统计机器学习》 – 李航