机器学习优化模型——经验风险及其一般优化模型

1.经验风险及其一般优化模型

1.1损失函数:

损失函数$L(f(X_i),Y_i)$是针对单个样本而言的,表示模型预测值与样本真实值之间的差距 。常见损失函数:
1.0-1损失函数
$$f(x)=\{\begin{array}{l}0,Y\ne f(x)\\ 1,Y=f(x)\end{array}$$
2.平方损失函数
$$L(Y,f(x))=(Y-f(x){)}^2$$
3.绝对损失函数
$$L(Y,f(x))=|Y-f(x)|$$
4.对数损失函数或者对数似然损失函数
$$L(Y,P(Y|X))=-logP(Y|X)$$
通过选取上述任一损失函数,我们可以衡量针对某一具体样本点的测量值和真实值之间的差异度的方法。损失函数越小,说明模型预测结果越准确。

对所有样本点计算其损失函数,加起来求和取平均,就可以得到模型在该训练样本集中的平均损失,也叫做经验风险。
$$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))\text{\hspace{1em}(1.1)}$$

1.2经验风险及其一般优化模型

定义1 经验风险 : 训练集中所有额样本点的损失函数的平均。
经验误差只是模型在训练集上的表现,对于未知样本,是不是只有上帝才能知道它的效果呢?非也。借助数学工具,我们可以充当“上帝”的角色,去预测模型在未知样本上的表现性能。

定义2 期望风险(真实风险): 假设全体样本(包括已知样本和未知样本)为$X$,他的真实结果是$Y$,预测结果是$f(x)$。期望风险可以表示为:
$$R_{exp}(f)=E_r[L(Y,f(X))]={\int }_{x\times y}L(y,f(x))p(x,y)dxdy\text{\hspace{1em}(1.2)}$$
期望风险与经验风险的不同之处在于,期望风险是全局的概念,表示的是决策函数对所有样本的预测能力;而经验风险反映的是决策函数对训练集样本的预测能力。

只有上帝知道期望风险的真实值,我们需要做的,使用局部最优替代全局最优???

定义3 泛化误差:针对这样一个问题:在一个有限的样本集合上的评价和一个无限的数据集合上的评价是否一致?

如果一个算法$f^{\ast }$在全体数据集$D$上是最好的,则算法的期望风险最小,又叫做贝叶斯风险,是理论上可达到的最小风险。

• $f^{\ast }:$ 全体数据集 $\mathbb{D}$ 上在无限多的算法中找到的最好的算法。反映理论上可以预测多好,对应的真实风险$R^{\ast }$
• $f_{\mathcal{F}}^{\ast }:$ 全体数据集 $\mathbb{D}$ 上在有限算法 $\mathbb{F}$ 上选出的最佳算法 .对应的真实风险是 $R_{exp}(f_{\mathcal{F}}^{\ast })$
• $\widehat{f_{\mathcal{F}}}:$ 有限数据集 $\mathbb{S}$ 上,在有限个算法集合 $\mathbb{F}$ 里选出的最佳算法。对应的真实风险是 $R_{emp}($