总结自刘东老师《统计学习》课程,教材选用周志华老师《机器学习》西瓜书
每节都给了小结,可以快速了解每节内容
监督学习
什么是监督学习
此前章节所述的回归、分类、概率密度估计问题,都是(全)监督学习的例子。监督学习的过程主要分为两步:训练和推演。
模型分类
决策模型 vs 概率模型
这就是之前介绍所有方法时,一般的回归/分类方法与贝叶斯方法的区别。
一般的方法,求得的解是一个固定的映射
y ^ = f ( x ) \hat{y}=f(x) y^=f(x)
如果 y ^ \hat{y} y^可以取连续值,那么就是一个回归问题,如果只能取离散值就是分类问题。对问题如此建模,即利用了决策模型。
贝叶斯方法则是对输入、输出以及参数都赋予一个概率密度函数,需要求的是在某个输入 x x x条件下,输出 y ^ \hat{y} y^的概率 q ( y ^ ∣ x ) q(\hat{y}|x) q(y^∣x)。利用贝叶斯方法对问题建模,利用的就是概率模型。
判别模型 vs 生成模型
判别模型,即基于训练样本,估计某一个输入所对应的输出值,即求解
y = f ( x ) o r q ( y ∣ x ) y=f(x)\;or\;q(y|x) y=f(x)orq(y∣x)
而生成模型反之,需要估计某一个输出所对应的输入的值,
x = f ( y ) o r q ( x ∣ y ) x=f(y)\;or\;q(x|y) x=f(y)orq(x∣y)
对于具有连续输入和输出的回归问题,以上两者显得比较自然,甚至可能可以互逆。因此,这两类模型对于分类问题更具有讨论的意义。
通常,求解一个生成模型需要先得到判别模型,毕竟这个模型生成的结果应当能自己判断对错才合理。
判别模型一般不需要很大的训练集就可以得到,且表现很好;生成模型则需要更大的训练集来保证收敛。
ERM
损失函数
评估一个模型的优劣,我们可以用损失函数来判断。损失函数的大小,总是和模型对训练样本估计的结果与真值的差的大小有关。
最小二乘法中,我们用到的损失函数即
( y i − f ( x i ) ) 2 (y_i-f(x_i))^2 (yi−