机器学习 扬帆起航001-02模型评估与选择(1)

机器学习，开始咯
学习书籍是周志华老师的《机器学习》
这里是听了课之后开始记的笔记，怕自己以后忘了没地翻…

02模型评估与选择

2.1 经验误差与过拟合

主要几个个概念：泛化误差，经验误差，损失函数，过拟合
泛化误差：未来样本的误差
经验误差：训练样本的误差（非常小会过拟合）

然后我们认识一下Loss函数（损失函数），他一般用来判断模型训练的好坏，这里举四个例子：0-1Loss，平方损失Loss，绝对损失Loss，对数损失Loss。
①0-1 Loss（y是真实结果，f(x)是经过机器学习预测的结果，下同）

②平方损失Loss

③绝对损失Loss

④对数损失Loss

这里P(y|x)指的是给定x最后判断为y的概率，需要具体求。

那么直接用Loss就可以评价了吗？显然还有很多问题,单单一个Loss只能代表这个样本的预测效果，并不能代表模型，于是，有了进一步评价：
训练误差：（n是样本数量）

在此基础上，引入了风险系数R最小化，R=min(ε)

PS：简单来说，风险系数R越小越好，但是如果只看R，又会造成过拟合，比如现在有AB两种类型树叶，你需要去识别树叶，训练A时，R能达到特别小，那么此模型可能识别不出B，因为B没有A的一些特征（两个树叶不可能一模一样），这种情况便是过拟合；既然有过拟合，当然也存在欠拟合，比如还是去识别树叶，你把一整棵树识别成了树叶，这显然也是不对的。

明天继续写…