根据给定的训练样本,机器学习的目的是求出对某系统输入输出之间的依赖关系的估计,使它能够对未知输出尽可能准确地预测。
可以一般地表示为,变量y与x存在一定的未知依赖关系,即遵循某一未知的联合概率F(x,y)。机器学习问题就是根据l个独立同分布观测样本
(x1,y1)(x2,y2)(x3,y3)...(xl,yl) (3.1)
- 在一组函数{f(x,w)}中求一个最优的函数f(x,w0)对依赖关系进行估计,使期望风险
最小,其中,{f(x,w)}称作预测函数集,w为广义参数;L(y,f(x,w))为损失函数,不同类型的学习问题有不同形式的损失函数。
机器学习问题有三类:模式识别、函数逼近和概率密度估计。
对于模式识别问题,输出y是类标号;两类情况下,其预测函数也称作指示函数,其损失函数可以定义为
(3.3)
在函数逼近问题中,y是连续变量,采用最小平方误差准则,损失函数可以定义为
(3.4)
而对概率密度估计问题,学习的目的是根据训练样本确定x的概率密度,记估计的密度函数为p(x,w),则损失函数可以定义为
(3.5)
上面的问题标书中,学习的目的在于时期望风险最小化,但由于我们可以利用的信息只有样本数据,因此式(3.2)的期望风险无法计算。传统学习方法采用经验风险最小化(ERM)准则,即用经验风险作为对式(3.1)的估计。经验风险
(3.6)
对于损失函数(3.3),经验风险就是训练样本错误率;对于式(3.4)的损失函数,经验风险就是平方训练误差;而采用式(3.5),ERM准则就等价于最大似然方法。
最小化经验风险在多年的机器学习方法研究中占据了主要地位。但ERM准则代替期望风险最小化没有经过充分的理论论证,只是直观上合理的想当然的做法。ERM准则不成功的一个例子是神经网络的“过学习”问题、训练误差小,并不总能导致好的预测效果,某些情况下,训练误差过小范儿会导致推广能力的下降,即真实风险的增加。