机器学习笔记之经验风险与结构风险

期望损失（风险函数）

当模型的损失函数是对数损失函数（对数似然损失函数）：

$$L(Y,P(Y|X)) = -logP(Y|X)$$
损失函数值越小，模型就越好，由于模型的输入、输出 $(X,Y)$ 是随机变量，遵循联合分布 $P(X,Y)$, 所以损失函数的期望是:

$$R_{exp}(f) = E_p[L(Y,f(x))] = \int_{\mathcal{X}\times\mathcal{Y}} L(y,f(x))P(x,y)dxdy$$

这是理论上模型 f(x)