【机器学习基础】误差分析

本文属于我的机器学习/深度学习系列文章，点此查看系列文章目录

前言

误差是用于衡量模型预测与真实结果的度量，其给出了预测输出与样本真实输出之间的差异。因此，误差分析也是机器学习中不可避免的一环。本文将详细讲述误差分析的过程以及模型过拟合、欠拟合等的原理。

文章参考了UCAS张新峰老师的课件，也是我自己的学习笔记

误差分类

按照误差产生的数据样本不同，可以将误差分为：

• 训练误差：模型在训练集上的误差
• 泛化误差：模型在新样本上的误差

训练误差很容易进行分析，因为是在有限的训练样本上进行误差分析，只需要确定好误差(损失)函数，就可以计算得到预测输出和真实结果的差距。但泛化误差由于我们无法获得所有的测试样本，只能通过有限的测试集去计算误差，因此泛化误差分析要更为复杂。模型过拟合与欠拟合就是泛化误差分析得到的结果。

泛化误差分析

不妨设有训练集 D t r a i n = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } D_{train} = \{\mathbf (x_1,y_1),(\mathbf x_2,y_2),...,(\mathbf x_n,y_n)\} Dtrain​={ (x1​,y1​),(x2​,y2​),...,(xn​,yn​)}，且数据$\mathbf{x}$与标签$y$之间存在真实模型关系如下：
$$y_i=f_{train}({\mathbf{x}}_i)=f_{true}({\mathbf{x}}_i)+{\epsilon }_i\text{\hspace{1em}(1)}$$
其中${\epsilon }_i$表示噪声（训练模型和真实模型之间存在误差），均值为0,方差为${\sigma }^2$。

在训练集上，我们通过定义误差函数来求解优化得到训练模型$f_{train}(\mathbf{x})$，误差函数如下：
$$\underset{\mathbf{w}}{\min }trainErr(\mathbf{w},D_{}$$