【统计学习课程】4 监督学习

总结自刘东老师《统计学习》课程，教材选用周志华老师《机器学习》西瓜书
每节都给了小结，可以快速了解每节内容

什么是监督学习

此前章节所述的回归、分类、概率密度估计问题，都是（全）监督学习的例子。监督学习的过程主要分为两步：训练和推演。

模型分类

决策模型 vs 概率模型

这就是之前介绍所有方法时，一般的回归/分类方法与贝叶斯方法的区别。
一般的方法，求得的解是一个固定的映射
$$\hat{y}=f(x)$$

如果$\hat{y}$可以取连续值，那么就是一个回归问题，如果只能取离散值就是分类问题。对问题如此建模，即利用了决策模型。
贝叶斯方法则是对输入、输出以及参数都赋予一个概率密度函数，需要求的是在某个输入$x$条件下，输出$\hat{y}$的概率$q(\hat{y}|x)$。利用贝叶斯方法对问题建模，利用的就是概率模型。

判别模型 vs 生成模型

判别模型，即基于训练样本，估计某一个输入所对应的输出值，即求解
$$y=f(x)orq(y|x)$$

而生成模型反之，需要估计某一个输出所对应的输入的值，
$$x=f(y)orq(x|y)$$

对于具有连续输入和输出的回归问题，以上两者显得比较自然，甚至可能可以互逆。因此，这两类模型对于分类问题更具有讨论的意义。
通常，求解一个生成模型需要先得到判别模型，毕竟这个模型生成的结果应当能自己判断对错才合理。
判别模型一般不需要很大的训练集就可以得到，且表现很好；生成模型则需要更大的训练集来保证收敛。

ERM

损失函数

评估一个模型的优劣，我们可以用损失函数来判断。损失函数的大小，总是和模型对训练样本估计的结果与真值的差的大小有关。
最小二乘法中，我们用到的损失函数即
$$(y_i-$$