机器学习的损失函数

李航的统计机器学习方法说:
统计学习方法三要素:模型,策略,算法
模型是假设,策略就是验证这个假设好坏的方法,算法是知道了假设好坏程度,怎么让假设向好的方向演进.所以需要定量地知道模型的好坏程度.

模型好坏的理解

如何定义模型的好坏呢.比如拿来一堆真实数据$(X_i,y_i)$,然后一个模型根据$X_i$预测$\hat{y_i}$,显然这个$\hat{y_i}$不一定和真实的$y_i$相符.现在有一个问题,假设空间中,最好的那个模型,他能好到什么程度,这显然和训练数据有关,和模型自身也有关系,比如有些数据就是自相矛盾的,那模型再怎么牛逼,也无可奈何.其次,即使数据是可学习的,并且有个模型非常牛逼,对于这些真实数据,预测值和真实值都相符,它也不能保证对于未见到的值,它也能预测准确.说不定它只是死记硬背的呢.万里长征总有第一步,先研究一下如何定义模型的好坏.

损失函数(loss function)和风险函数

损失函数

损失函数度量的是一次预测的好坏.它并没有说是在训练集/测试集/验证集.

1. 0-1 损失函数
2. 平方损失函数
3. 绝对损失函数
4. 对数损失函数 这个比较有意思有篇介绍. 如果模型认为一个事件太会发生(p很小),但是它发生了,就要给他很大的惩罚.
5. 合页损失函数

代理损失函数

对于一些问题

风险函数(risk function)

从”风险”两个字,就可以看出风险函数是一种期望,是对一个事物的提前估量.

$$R_{exp}=E_{p}[L(y,f(X))]$$

经验风险(empirical risk)

经验风险是训练数据集中的损失的平均.
根据大数定理,自然的想法,是希望经验风险越小越好.但是如果训练集数据少,有可能过拟合.所以需要区分下面两个概念

经验风险最小

结构经验风险最小

李航书中说,极大似然估计是一种经验风险最小的例子.不是很理解.
结构经验风险=经验风险+结构带来的风险